未来液冷对于HBM堆栈本身将变得必不可少。

 

据报道，SK海力士于5月27日发布了“iHBM”技术。该技术将D2D PHY与DRAM错开放置，并在D2D PHY上方设置专用冷却通道（ICE：集成冷却元件），从而可以直接冷却D2D PHY产生的热量。

事实上，这个想法本身并不是SK海力士首创的。TrendForce报道称，三星电子在今年的（2026年）台北国际电脑展上发布了采用HPB（散热通道块）的HBM5结构。

这款HPB最初是为该公司“Exynos 2600”处理器提供的，并在今年1月的一篇技术博客文章中有所介绍。直接原因是必须解决HBM的D2D PHY产生的热量问题，但实际情况要复杂一些。

三星半导体目前正在今年的 ISSCC 论坛（论坛 3.7）上发表题为“面向 AI 平台的 HBM 电源传输的封装感知设计和优化”的演讲，因此我想先分享他们的一些PPT。

图 1 显示了传输速度的变化趋势。与 DDR/GDDR 系统相比，HBM 的带宽迅速提升，但功耗却持续稳步增长。虽然据说效率低于 2 pJ/bit 并非不可能，但这部分归功于从 HBM3E 代开始引入的逻辑处理。我们将在下一节中讨论这一点，但效率的提升是由于带宽的增加，而绝对功耗（以及 HBM 芯片的基面积）仍在持续增长。 

图1 浅蓝色（GDDR）后面的浅灰色是 DDR 系统

图 2 理想情况下，最好在纵轴上标明单位（特别是功耗）

另一方面，关于HBM的逻辑处理过程，图3展示了HBM的基本结构。HBM底部有一个基片，负责与处理器进行接口连接（前面提到的D2D PHY就是一个例子）。基片还包含信号校正电路和一些逻辑电路（例如，解析处理器发送的指令和改变工作模式），但尽管它被称为HBM，它本质上仍然是DRAM，因此并不包含特别复杂的逻辑电路。

图 3 左图为侧视图。右图为俯视图，展示了 HBM 核心芯片和基底芯片（左图中标记为缓冲芯片）。TSV 区域位于中心，信号线垂直连接于此。

因此，迄今为止，基片一直采用与DRAM芯片相同的制造工艺。最初，在DDR/LPDDR和GDDR中，PHY和DRAM单元是作为一个整体制造的，所以这本身并不奇怪。然而，如果将Photo01中显示的数字转换为每引脚速度……

这导致HBM3e附近的信号速度过高。因此，芯片进行了一次改造，将基础芯片的工艺从DRAM工艺改为逻辑工艺。然而，改造后信号速度并没有降低，因此基础芯片需要以更高的速度运行。

以 HBM3 为例，信号的传输和接收速度可达 6.4 Gbps，但显然 DRAM 单元无法以如此高的速度进行数据传输和接收。过去其峰值性能约为 200 Mbps，即使现在可能也达不到 400 Mbps。因此，假设有 200 Mbps 的裕量，则需要 32 位交织技术。

换句话说，一个 6.4Gbps 的信号需要同时以 200Mbps 的速率输入到 32 个 DRAM 单元中；反之，数据需要同时以 200Mbps 的速率从 32 个 DRAM 单元读取，转换成 6.4Gbps 的信号，然后发送出去。这意味着电路的一部分工作频率高达 6.4GHz，这足以说明其工作频率已经非常高了。

虽然HBM4的总线宽度增加到了2048位，但信号速度并没有显著下降；事实上，HBM4e的速度甚至超过了10GHz。采用逻辑工艺制造基础芯片是有充分理由的。此外，由于DRAM单元本身会以尽可能高的速度运行，因此即使是DRAM，功耗也会增加。

更大的问题在于，在HBM中，DRAM芯片是堆叠的。第一代HBM大约有4层，但现在有12层或16层。这意味着DRAM芯片的供电量增加了四倍（如果考虑到速度的提升，可能还会更多）。因此，所需的功率急剧增加，但由于流经TSV的大电流会导致其烧毁（稍后会详细介绍），解决方案是增加TSV中的电源引脚数量（图4）。

图 4 此外，由于仅使用中央 TSV 区域供电是不切实际的，因此在 DRAM 区域内增加了一个额外的 TSV 区域用于供电，以尽可能减少电源损耗（IR 压降）。

与此相关的趋势是将DRAM芯片的堆叠方式从传统的微凸点方法转变为混合键合（即利用范德华力在Cu VIA之间直接连接）。

原因有很多，当层数不超过12层时，即使采用微凸点层压，层高也能保持在可接受的范围内；但当层数达到16层或更多时，就会出现层高过高的问题。采用混合键合技术时，连接点的高度为0（因为过孔直接相互连接），因此可以保持较低的厚度。

微凸点会增加热阻，导致热量难以从下方的DRAM芯片（或基底芯片）传递到上方的DRAM芯片。这意味着HBM的整体温度往往会升高。而混合键合技术由于采用铜对铜的键合方式，热阻显著降低，从而更容易抑制温度升高。

由于微凸点的电阻比铜高，因此功耗增加会导致微凸点区域产生更多热量。混合键合的电阻比微凸点低，因此更容易抑制发热。

单看这一点，你可能会问：“那为什么不采用混合键合呢？”原因在于成本。混合键合的实现成本是微凸点的数倍，而且由于HBM具有多层结构，成本差异往往非常大。除非是HBM4或更高版本，否则这种价格差异是无法接受的，因为如果性能优异，更高的价格是可以接受的。

顺便提一下，这里有一张PPT展示了这方面的情况（图 5）。右侧的微凸点数量是指用于连接基板和 DRAM 芯片，或连接不同 DRAM 芯片的微凸点数量，从 HBM4 到 HBM4e 相比，数量增加了这么多。旁边的 C4 数量是指基板和中介层之间的 C4 凸点数量，这个数字也显著增加。右侧的照片显示了一个因过热而损坏的芯片（很难确定它是基板还是 DRAM 芯片，但从横截面来看，它像是基板）。这表明需要采取措施来防止这种情况发生。

图 5从右图可以看出，异常的热量产生和热破坏主要发生在 VPP 周围

即使是功耗和发热量相对较低的芯片，例如DRAM芯片，也会受到这些问题的困扰，因此对于基础芯片而言，功耗和发热量问题就更加突出。尤其是在功耗方面，原则上，去耦电容不能放置在功耗较高的基础芯片附近（因此电源波动较大）（图6）。

图 6在演示过程中，提出了诸如将电容器集成到 Si 中介层、使用电源电压死电路和提供电压下降检测电路等对策，但这些措施并没有提供根本的解决方案（因此讨论的重点是通过协作设计来克服它）。

由于这些问题在HBM4/4e一代产品中已经出现，因此在即将推出的HBM5一代产品中，这些问题可能会更加严重。简而言之，问题的关键在于如何处理电源供应和散热问题。

第一步是直接为HBM供电。传统上，HBM的电源由ASIC侧提供（图7），但这会导致大电流流过硅中介层。尽管距离很短，但由于硅中介层的布线宽度较窄，它并不适合承载大电流。因此，HBM的电源不再通过ASIC，而是从外部垂直穿过硅中介层供电，从而最大限度地减少布线电阻造成的损耗。

图 7传统上，电源由 ASIC 提供给 HBM。

下一代GPU体积庞大，单芯片功耗超过1kW。为了应对这一问题，人们正在讨论采用VPD（垂直供电：一种将VRM直接置于GPU芯片后方，并通过电路板垂直供电的方法）。HBM也面临着类似的情况。

前段时间，有传言称英特尔的EMIB-T芯片在下一代芯片领域的需求将出现激增。如图7所示，EMIB芯片只能连接ASIC和HBM显存，但如图8所示，EMIB-T芯片可以穿透中介层，直接连接到电路板。由于台积电的CoWoS芯片供应紧张，即使使用EMIB芯片作为替代方案，也无法实现HBM显存的垂直供电。而EMIB-T芯片则解决了这个问题。

图 8使用 EMIB-T 可直接向 HBM 供电。

现在，我们来谈谈散热。回到讨论的开头，其原理基本上可以参考SK海力士iHBM的示意图。基片略微增大，产生最多热量的D2D PHY芯片放置在凸起部分，并在其正上方设置了一个冷却柱（海外称之为烟囱，这个比喻非常贴切），以高效散热。三星的HPB芯片与之类似。

图 7 取自该公司今年 1 月发布的一段视频，显示冷却块放置在 AP 芯片顶部，热量从那里散发出去，无需依赖 DRAM 的低效散热。 

图 9 实际上，我认为不可能设置如此大的 HPB，因此效率可能会因实际配置的不同而有很大差异。

目前，iHBM 和 HPB 的主要区别在于冷却模块（本质上是烟囱）与 D2D PHY 的连接方式。HPB 的设计较为保守，将烟囱放置在包含 D2D PHY 的基础芯片（由封装材料覆盖）上方；而 iHBM 则旨在通过直接安装 ICE（尽管可能仍会提供绝缘膜）来提高效率，无需中间的封装材料。这种设计方式虽然会引发一些关于机械强度的担忧，但应该能够带来更高的冷却效率。

HBM5 的这一代技术仍不明朗，但一些预测表明，单个堆叠层数可能高达 20 层，每个堆叠层的功耗超过 100W。SK 海力士和三星认为，烟囱式散热结构对于应对如此高的功耗至关重要（然而，美光采取了不同的方法，声称可以通过节能设计和基于 TSV 的冷却技术来解决这个问题）。

我认为封装体不会采用外露式烟囱（虽然HPB版本有可能……），但看来我们即将进入一个烟囱肯定内置的时代。顺便一提，根据行业预测，之后液冷对于HBM堆栈本身将变得必不可少。