HBM4 的出现带来了定制基础芯片的选择。内存制造商通常会设计 HBM 堆叠的所有层，但对于定制基础芯片，谁来设计？谁来制造？谁来组装最终的堆叠？事实证明，这些问题的答案会根据谈判情况而有所不同。

定制化HBM（有时简称cHBM）允许企业根据整体XPU（CPU/GPU/NPU）定制方案来调整内存。在内存供应紧张的当下，为本已面临挑战的常规HBM市场增加定制内存似乎难上加难，但定制化HBM不太可能进一步加剧供应压力。此外，一些最新方案也巧妙地解决了供应短缺的问题。

归根结底，在实际应用中，cHBM 的核心在于差异化。“你会陷入这样的讨论：‘我该如何实现差异化？’” Synopsys产品管理总监 Rob Kruger 说，“实现差异化的方法之一就是 cHBM 模型。”

HBM4 的出现标志着高带宽内存（HBM）发展的一个转折点。HBM由多层构成，除底层芯片外，每一层都是一个内存芯片。底层芯片是逻辑芯片，负责管理、寻址以及其他必须在堆叠结构内完成的非内存任务。在 HBM3 及之前的版本中，内存制造商——主要是美光、三星和 SK 海力士——负责制造堆叠结构中的所有芯片，包括底层芯片。

克鲁格解释说：“过去，基片的制造工艺也与DRAM相同。”

但HBM4的出现改变了这一切。“为了提高功耗和性能，他们转向了逻辑运算。”

基础芯片需要升级到更先进的FinFET工艺（可能是4nm或更小），而DRAM芯片并没有这样做。因此，尽管存储器制造商仍然负责设计标准基础芯片，但逻辑芯片代工厂会负责制造。之后，存储器制造商可以组装堆叠芯片，切割堆叠晶圆，并对最终的堆叠芯片进行测试。

这涵盖了标准基础芯片。此外，HBM4 及其后续产品允许您使用定制的基础芯片替换标准基础芯片，以便更高效地处理特定工作负载。

理论上，各行各业的许多公司都可能对定制内存感兴趣。内存层本身不能定制，但控制逻辑可以定制，这对芯片和系统架构师来说非常有用。

如果你要构建一个使用标准HBM的系统，你只需要购买现成的芯片（目前来说，这意味着你和其他所有想购买的人一样）。但如果你决定进行定制，那么你就不能像以前那样直接购买所需芯片，而是需要投入资金并管理一个芯片设计项目。这自然会限制哪些人可以进行定制。

事实上，这项功能主要面向超大规模数据中心，原因有三。首先，他们有足够的资金来实现这一点。其次，与Web服务器相比，AI处理的工作负载类型非常有限。你甚至可以将机器专门用于处理某种特定类型的工作负载，而这对于Web服务器来说就不太适用，因为你可能无法预先知道具体的工作负载是什么。

因此，超大规模数据中心运营商比大多数运营商更有可能将大量机器专门用于特定的工作负载类型。在这种情况下，定制主机和内存就更有意义了。

第三个动机反映了这样一个事实：虽然可以为不同的工作负载制定标准，但与人工智能计算发展的快速步伐相比，标准化过程耗时太长。

Marvell数据中心内存解决方案副总裁Khurram Malik表示：“JEDEC在标准化方面进展缓慢。超大规模数据中心的发展速度要快得多，因此问题就变成了：‘如何根据自身的工作负载定制HBM基础芯片？’”

定制化使这些公司能够顺应计算机技术的进步而进行调整，而不是等待正式标准的出台。根据定制内容的不同，定制化还可以为公司带来差异化优势。

除了超大规模数据中心之外，企业级解决方案也可能加入竞争。“我们开始看到越来越多的企业客户也在尝试构建自己的扩展处理单元（XPU）。”马利克指出，“目前讨论仍处于早期评估阶段。”

Marvell 公司正在推进定制化 HBM 的实施。该公司有一个专门从事定制云计算的部门，并为客户定制 XPU。

定制化XPU促使人们采用定制化内存。

“这是为了实现我们正在开发的定制 XPU，”Marvell 定制云解决方案高级副总裁 Jim Rogers 解释说。

并非所有超大规模数据中心运营商都想做同样的事情——恰恰相反。“不同的超大规模数据中心运营商都希望拥有自己的芯片间接口，”马利克说道。

该团队为每个客户定制XPU，这表明他们有机会提供与该处理器相匹配的定制HBM堆栈。但为了减少设计工作量，他们尝试创建一个可以与所有定制XPU兼容的单一定制版本。

“我们正在努力了解不同的客户需求，以及如何通过单一的 HBM 产品来满足这些不同的客户需求，”马利克说。

在定制基础芯片时，即使没有进行其他任何定制，内存控制器也会从主机移至基础芯片。定制版本通常需要包含主机和内存堆栈之间优化的接口。通过将控制器移至基础芯片，实际上是将标准接口“封装”在一个定制的（或不同的）接口中。

“如果你要使用cHBM，你需要定义如何与HBM控制器进行接口连接，这可以是AXI（Arm的高级可扩展接口），也可以是其他方法，”Kruger解释说。“但双方需要达成一致。这关乎数据的传输方式——你使用什么格式和接口。”

这样做还有一些参数上的好处。内存控制器体积庞大，接口连接数量也极其庞大。每个连接都会占用一部分“前沿区域”（即靠近芯片外侧的焊球或连接点，这些区域可以连接到其他芯片）。此外，考虑到对定制设计的投入，主机很可能采用最新的硅工艺节点制造。

基础芯片需要比传统DRAM工艺更先进的逻辑工艺，但其成本无需像主机芯片那样高昂。因此，控制器会增加基础芯片的空间，同时节省主机芯片的空间。但它增加的基础芯片面积成本低于节省的面积成本，最终实现了成本上的净收益。

如果定制接口所需的连接数少于标准接口，则可以节省另一项成本。内存PHY区域包含所有用于外部信号的焊盘和驱动程序。由于控制器位于基片内部，因此不再连接到主机和HBM堆栈，但它可能仍然需要所有原始信号。然而，由于它们不与其他芯片通信，因此不需要焊盘空间，所以可以使用功能更简单的驱动程序。

“内存控制器位于逻辑计算芯片上，”Malik解释说。“我们把内存控制器放到定制的HBM基片上，并移除PHY（因为它不再驱动芯片间通信），因为PHY是计算芯片上最大的模块，而它仅仅用于连接。所以移除PHY，换成UCIe或其他芯片间接口。这样比标准的DRAM PHY小了大约70%。它使计算芯片的计算能力提高了25%。它降低了整体功耗，并提高了整个XPU芯片的效率。”

关键优势在于能够连接更多HBM堆栈。“这取决于XPU的芯片尺寸，但现在你有了更多的内存空间，因此可以连接更多HBM，从而为这些计算单元提供更大的内存容量，”Malik说道。

存储器制造商在这项工作中扮演的角色是提供一个“TSV PHY”，这是一种作为基础芯片TSV模板的IP。以HBM5为例。“你会将2048位数据连接到这个叫做TSV5的东西上，”克鲁格说。“这是存储器制造商提供的IP，它连接到他们的芯片堆栈，并指导如何与这些连接进行接口连接以及如何进行测试。”

当然，定制化不仅仅局限于界面。企业可能还希望调整其他功能。“可靠性、可用性和可维护性（RAS）是有标准的，但人们对实际需求以及如何实现这些需求都有自己的想法。因此，这方面需要进行定制，”克鲁格说道。“你会有一个控制和管理层，负责RAS遥测数据的聚合和收集。如何将这些数据发送到系统的其他部分，需要进行定义，以便了解它在整个系统中的运行方式。”

虽然定制化可能仅限于控制器位置的调整，但这不太可能，因为设备打开后更容易进行其他有益的改动。但目前还没有固定的方法，每个项目都可能需要协商。

需要考虑的四个基本步骤是设计、制造（和晶圆测试）、组装和最终测试。其中，设计是最难的环节，因为其他环节更多地取决于产能。设计需要一个团队、工具，以及对更大内存容量如何影响性能和功耗的远见卓识。过去，这或许会将具备这种能力的公司限制在内存制造商或无晶圆厂公司，但如今，超大规模数据中心运营商在半导体设计方面拥有深厚的专业知识。

按此顺序来看，第一种选择似乎不太可能。内存制造商们手头已经非常繁忙，承接定制设计可能并不适合他们。我们无法代表所有内存厂商发言（而且大多数厂商也不愿公开置评），但至少有一家公司担心被要求进行定制芯片设计。

SK海力士美国公司封装工程副总裁李在植在一次演讲中表示：“现在，客户想要的一切都是定制的，因为他们需要更高的带宽。但存储器公司需要进行（定制HBM的）设计和制造，而我们的资源是有限的。”

Synopsys 的 Kruger 也赞同资源问题，他指出，开展这类项目需要耗费大量精力。“这些人没有团队随时待命来做这些定制设计，”他说。“你需要达到相当大的项目量才能证明这种定制开发的合理性，所以仅凭这一点就会限制项目的数量。”

如果存储芯片厂商退出，那就只剩下无晶圆厂厂商和超大规模数据中心运营商了。目前还不清楚有多少无晶圆厂公司会参与其中，但鉴于 Marvell 的项目，我们有理由预期其他公司也会效仿。

不过，每个这样的项目都是定制的。“与最终的超大规模数据中心客户合作至关重要，”马利克说。“即使你可以将各个模块拼接在一起，仍然需要进行调优和优化。而且每个超大规模数据中心的情况都不一样。”

对于标准的HBM4，内存制造商从芯片代工厂获得经过测试的逻辑芯片，组装堆栈，测试成品，然后发货。对于定制版本，内存制造商仍然负责构建堆栈所需的内存芯片，但他们不再拥有基础芯片的设计。他们是否仍然会使用定制的基础芯片来构建堆栈？在如今这样的市场环境下，他们是否有能力做到这一点？

事实证明，谁来负责堆栈集成并没有统一的答案。每个项目都需要存储器厂商、逻辑芯片代工厂以及可能还有一家能够进行堆栈键合的组装厂（预计HBM4E及后续产品将采用混合键合，至少对于16层堆栈而言）达成协议才能启动。具体流程的负责人可能因项目而异。

“不同的客户有不同的业务合作模式，”马利克说。“有些客户将逻辑设计完全交给负责逻辑设计的团队，而自己则负责集成工作。有些客户则赋予逻辑团队某些职责，内存团队另一些职责。还有一些客户喜欢自己承担全部责任，既与逻辑合作伙伴合作，也与内存合作伙伴合作。”

近日，台积电宣布与华邦电子展开合作。华邦电子将提供存储晶圆，台积电负责组装。此举被认为减轻了其他三大存储器厂商的压力。

鉴于内存短缺，设计人员必须更具创意地寻找获取足够内存的方法——尤其是对于那些可能无法优先获得内存分配的公司而言。一种替代方案是将标准DRAM芯片堆叠在主机之上。

这些组件的高度虽然不及真正的HBM堆叠，但它们可以集成多达四个DRAM芯片。尽管HBM尚未采用混合键合技术，但其他DRAM芯片已经实现了这一技术。

克鲁格解释说：“在已经流片的芯片设计中，底部逻辑芯片翻转过来，正面朝上，并通过混合键合连接到顶部的向下放置的DRAM晶圆。该DRAM晶圆的键合间距小于10微米，因此，虽然HBM仍然采用微凸点连接，但逻辑芯片上的DRAM已经采用混合键合了。”

无论是堆叠常规DRAM还是HBM层，间距对键合技术都至关重要。“堆叠存储器需要坚固的TSV、可靠的凸点、键合或互连技术，以及高强度材料，才能使HBM继续缩小尺寸，” Lam Research先进封装技术总监Prahalad Parthangal在SEMI战略材料大会上表示。“当间距缩小到10µm以下时，混合键合互连就成为关键技术。”

人们可能会认为这种做法是为了应对内存供应紧张的问题，但事实证明还有一个更重要的原因——速度。

克鲁格说：“我们认为这是因为一些客户无法获得HBM。从应用层面来看，HBM可以显著降低延迟，因为现在使用的是紧密排列的混合绑定或凸块来进行数据传输，而且功耗也更低。”

Synopsys 预计每年只有不到 20 个项目会以这种方式实施。

总而言之，以下是四个主要步骤的详细流程：

• 设计会因项目而异，但很可能由使用定制内存的公司（例如超大规模数据中心）或设计公司（特别是提供定制服务的设计公司）来完成。

• 制造和晶圆测试将在逻辑芯片代工厂进行，但该代工厂可能与制造标准基础芯片的代工厂是同一家，也可能不是。

• 组装方式将因项目而异。所有者将在项目协议中确定。

• 最终测试可以像使用标准 HBM 一样进行，但需要使用自定义测试程序。

随着项目陆续启动，定制的 HBM 堆栈应该会在一年内，或者两年内投入数据中心使用。

那么，这会对内存供应产生什么影响呢？定制HBM的需求似乎会超出常规HBM的供应需求，但当你把整个行业的内存需求加起来时，你会发现这些需求并没有区分标准内存和定制内存。因此，预计这不会进一步加重产能负担。相反，关键在于内存产品的组合方式。

然而，获取内存供应可能仍然很困难。“内存严重短缺，价格飞涨，”马利克警告说。“这些内存供应商未来一年半到两年的产能都已经售罄了。”

这种产品组合的最终走向可能会给供应计划带来挑战，因为标准产品的供应计划相对容易制定。而预测哪些厂商会生产定制版本，以及生产地点在哪里，则可能会使预测结果更加难以确定