对于现代科技产业而言，人工智能的发展历程与GPU的发展历程往往密不可分。这些超大容量、超高吞吐量的芯片凭借其卓越的内存带宽和强大的数学运算能力，已成为人工智能服务器的关键组件。近年来，随着人工智能服务器逐渐发展成为独立的产品类别和科技产业的主要收入来源，GPU的作用也愈发重要。

对于AMD而言，人工智能的蓬勃发展对其服务器GPU业务的影响可谓翻天覆地。自近十年前推出Instinct加速器产品线以来，AMD的服务器GPU销量已从寥寥无几发展到如今成为数据中心业务增长的强劲引擎，并占公司总收入的50%以上。即便不是EPYC CPU，Instinct GPU也将成为AMD在2026年最重要的产品线。

但伴随成功而来的是持续增长的压力，以及不断改进服务器GPU技术的压力。 为此，在 AMD 2026年人工智能发展大会上， AMD重点展示了其GPU研发成果，并阐述了相关产品以及围绕这些产品构建的全新 Helios机架式系统的规划。

这些新系统以及AMD明年更广泛的服务器加速器产品线的核心将是Instinct MI455X。作为AMD最新、最强大的产品，Instinct MI455X不仅是AMD迄今为止速度最快的服务器GPU，而且标志着经过彻底改进的CDNA 5架构的问世，这是AMD十多年来对服务器GPU架构的最大一次革新。凭借此次架构革新、台积电先进的2nm制程工艺以及对网络功能的重点提升，AMD对其服务器GPU的雄心壮志和性能追求达到了前所未有的高度。

今天，我们将深入探究 CDNA 5 架构和 Instinct MI455X 加速器，看看 AMD 最新服务器 GPU 的运作机制，以及他们为了提升性能并实现机架级 Helios 系统而做出的诸多改进。从表面上看，CDNA 5 并没有带来太多新的高级特性，但这掩盖了 AMD 在底层所做的重大变革。它是一款与 AMD 以往任何产品都截然不同的 GPU，也是未来所有服务器 GPU 的蓝图。那么，事不宜迟，让我们马上开始吧。

鉴于 Instinct MI455X 加速器和底层 CDNA 5 架构的所有变化，或许最好的入手点是对芯片及其规格进行一番概览。

MI455X 是 AMD 服务器 GPU 的最新迭代产品，也是 AMD 的旗舰级 CDNA 5 芯片——一款功能齐全、全面实现该架构的产品。MI455X 为 AMD 的服务器芯片带来了一系列重要的改进和新增功能，其中最显著的包括彻底改变的核心架构、对 HBM4 显存的支持，以及采用台积电首个 GAAFET 工艺节点：N2（又称 2nm）。

此次升级和改进的组合有望使 MI455X 相较于其前代产品 MI355X 带来显著的性能提升。总体而言，AMD 宣称 MI455X 在关键的 FP4 和 FP8 精度下，矩阵（张量）性能峰值提升了 4 倍。同时，大多数其他格式的峰值计算性能也将翻倍。而这仅仅是原始计算吞吐量的提升，尚未包括 GPU 架构中为提高吞吐量效率而进行的其他改进。

从数据上看，单个 MI455X 可以处理略高于 40 PFLOPS 的密集 FP4 张量运算，而 FP6 和 FP8 张量运算的处理能力则约为其一半。与前代产品一样，MI455X 的设计重点在于张量运算，但传统的向量运算能力也毫不逊色。该芯片可以处理 315 TFLOPS 的 FP32（或 FP16）向量运算，大约是 MI355X 的两倍。

推动吞吐量大幅提升的关键在于最简单的升级：增加晶体管数量。这主要得益于计算芯片采用了台积电的N2工艺节点，AMD现在能够组装出拥有3200亿个晶体管的芯片，比上一代产品提升了72%。台积电N2工艺除了提升逻辑密度外，还带来了其他几项优势，其中最显著的是更好的漏电控制。

CDNA 5架构也带来了AMD核心GPU架构的重大革新。它本质上借鉴并增强了AMD RDNA系列GPU的核心计算架构，后者引入了类似的基于SIMD32的ALU组织方式。CDNA 5是自近十年前推出Instinct系列以来，AMD服务器GPU架构的最大变革。此次架构变革的影响将是深远的，但最终结果是CDNA 5整体效率更高，并且正如AMD所说，它更适合AI工作负载产生的指令流。

为这套全新的计算硬件提供支持的，是一个规模庞大的HBM4内存子系统，其性能提升甚至超过了芯片本身的理论计算能力。AMD为这款芯片配备了12个HBM4内存堆栈，比MI355X多了4个。得益于HBM4技术的代际改进，这款芯片的内存带宽达到了23.3 TB/秒，是MI355X的2.9倍。因此，MI455X的发布将是极少数情况下，每浮点运算次数（FLOP）的内存带宽能够逐代提升（而不是像通常那样逐代下降）的案例之一，这也是MI455X在架构效率上优于MI355X的关键因素之一。

新的内存也带来了容量的提升。每堆叠 36GB 的内存容量，意味着 AMD 可以为 MI455X 配备 432GB 的本地内存，约为 MI355X 容量的 1.5 倍。令人惊讶的是，考虑到内存容量对于存储日益庞大的 AI 模型和上下文信息至关重要，MI455X 的这一规格是少数几个没有达到 MI355X 两倍（甚至更高）的规格之一。但这并非 AMD 没有努力，正如其采用 12 堆叠内存所证明的那样。目前，DRAM 密度增长速度的放缓已成为各方发展的瓶颈。

除了内存带宽之外，MI455X 的另一大带宽提升在于其 I/O 带宽。在很多方面，它都是实现 AMD 机架级目标的关键所在。MI455X 通过 Ultra Accelerator Link (UAL) 通道提供 3.6TB/秒的带宽，可用于扩展架构，并通过 UAL、PCIe 和 xGMI 进一步提升带宽，其总链路带宽是 MI355X 的四倍以上。对于这一代 AMD 硬件而言，数据传输的重要性不亚于（甚至超过）计算能力。

然而，所有这些性能提升都伴随着代价：功耗。MI355X 本身就已经是一款功耗极高的芯片，单颗加速器的功耗高达 1400 瓦。AMD 甚至还没有公布 MI455X 的功耗（理想情况下，客户会整机架购买），但考虑到 Helios 机架的功耗超过 245 千瓦，而且其中大部分都用于 GPU，MI455X 的单颗 GPU 功耗估计超过 2 千瓦。除了网络拓扑结构方面的考虑之外，这也是 AMD 只在 Helios 计算托架中安装四颗 MI455X 的原因之一。

我们将深入剖析 MI455X，从芯片架构入手，一步步深入研究。这意味着我们的第一站是芯片组层面。

对于 MI455X，AMD 沿用了 MI300 系列首次采用的策略，即在基础芯片上堆叠计算芯片（XCD）。与 MI350 系列类似，MI455X 也采用了 8 个计算芯片，它们位于两个更大的芯片之上。AMD 现在将这两个更大的芯片更形象地称为 Fabric 和 Cache 芯片（FCD）。最后，与 FCD 相邻（但不在其上方）的是全新的 I/O 芯片（IOD），它们现在更名副其实地专用于芯片的 I/O 功能。

值得注意的是，与NVIDIA相比，这种堆叠式设计仍然是AMD服务器GPU的独特之处。即使是NVIDIA即将推出的Rubin GPU也不会采用这种技术。

对AMD而言，这一策略背后的逻辑并未改变：芯片组（chiplet）使AMD能够通过生产多个更小的芯片来分散风险，而不是生产一两个良率自然较低的芯片；此外，它还允许AMD混合搭配不同的工艺节点，以平衡性能需求、成本和晶圆供应。实际上，这意味着AMD正在将风险从芯片良率转移到先进封装良率，押注于芯片间粘合不良造成的损失将低于芯片本身的缺陷造成的损失。

如前所述，MI455X 上的计算芯片采用台积电的 N2（2nm）工艺制造，这是该公司最先进的工艺节点。AMD 与另一巨头苹果公司一样，是该工艺节点的主要客户之一，该公司将其宝贵的 N2 晶圆配额投入到新型服务器硬件的研发中。再次以英伟达为例，这意味着 AMD 将再次在工艺节点上领先于英伟达，因为 AMD 将使用 N2 工艺，而英伟达将使用 N3P 工艺，这与上一代 AMD 使用 N3 工艺而英伟达使用 N4 工艺的情况如出一辙。

自 CDNA 4 代以来，每个 XCD 内部的组织结构都发生了变化（稍后会详细介绍），但其总体用途并未改变。它们仍然是 AMD 性能关键型计算模块的所在地。

与此同时，FCD芯片再次采用较落后的制程节点制造，AMD此次选用的是台积电的N3P制程节点。虽然FCD芯片对性能的要求不如XCD芯片那么高，但它在AMD的GPU设计中仍然扮演着重要的角色，因为庞大的Infinity Fabric网络就位于FCD芯片上，该网络负责连接GPU的所有功能模块。此外，芯片的L2缓存（因此也被称为Fabric和Cache Die）以及AMD的HBM内存控制器也位于FCD芯片上。正因如此，FCD芯片本身也经历了一次重大的升级。MI350系列采用的是台积电久经考验的N6制程节点，而MI455X系列则直接跳过了台积电的所有5nm级制程节点，采用了N3P制程节点。

与 MI350 系列一样，每个 GPU 都配备两个 FCD。每个 FCD 可容纳 4 个 XCD，并与其他 FCD 以及新的 IOD 之间拥有广泛的连接。在某些方面，新的 FCD 比其取代的 IOD 更简单，因为 AMD 几乎完全移除了片外 I/O。这使得 FCD 的主要组成部分仅剩下互连结构、缓存和内存控制器。

说到缓存，令人惊讶的是，AMD 实际上减少了 FCD 的缓存容量。我们将在讨论 CDNA 5 架构时更详细地探讨这一点，但与 MI350 系列 IOD 总共 256MB 的缓存相比，MI455X FCD 只有 192MB 的缓存。尽管 AMD 跳过了多个制程节点，但情况依然如此。因此，虽然 AMD 没有公布 MI455X 上单个芯片的尺寸或晶体管数量，但 FCD 的容量增长可能并没有我们预期的那么大。

最后，每个FCD旁边都是新的IOD，顾名思义，它们负责处理GPU的片外I/O。具体来说，IOD包含用于UAL/UALoE链路、连接到CPU的xGMI链路以及PCIe Gen6链路的SerDes和相关电路。这些IOD本身相同，但它们的功能会根据其在MI455X芯片上的位置而有所不同。在芯片的远端（面向服务器托架背面），IOD完全专用于用于纵向扩展网络的UALoE链路。而位于芯片的近端（面向CPU和服务器托架正面）的IOD则包含xGMI链路和可用于PCIe或UAL的灵活链路。

与 FCD 一样，IOD 也是采用台积电 N3P 工艺节点制造的。

将所有这些技术整合在一起的，是台积电先进封装技术的新版本：CoWoS-L。自从AMD开始使用HBM型内存以来，AMD一直依赖台积电经典的晶圆基板芯片封装（CoWoS-S）技术。顾名思义，CoWoS-S的工作原理是将芯片放置在硅中介层（CoWoS中的晶圆部分）之上。这是一种非常有效的策略，因为硅中介层是简化的芯片，可以构建比有机封装更小、更密集的连接。然而，这种策略的缺点是中介层必须足够大，才能容纳芯片设计中的所有芯片，而这又会受到光刻掩模尺寸的限制。

为此，芯片封装公司（包括台积电）开发了新型的CoWoS技术，该技术仅使用小块硅片，即局部硅互连（LSI），而非大型芯片级中介层。这既保留了使用硅作为互连介质的连接密度优势，又避免了大型中介层的主要缺点。（这种芯片封装技术最著名的例子是英特尔的EMIB，但如今使用该技术的公司已不止英特尔一家。）

对AMD而言，转向CoWoS-L则使其能够更轻松地扩展芯片设计。该公司尚未公布CoWoS连接的间距，因此我们无法将其与MI350上使用的CoWoS-S进行数值比较，但总的来说，CoWoS-L对AMD来说是一个更灵活的选择。毕竟，在过去12年一直使用CoWoS-S之后，这确实是一个相当大的改变。

作为AMD服务器GPU业务的基石，CDNA 5架构代表了自AMD近十年前将服务器GPU业务剥离至CDNA以来，其服务器GPU架构的最大一次革新。对AMD而言，这在多个层面都是一次必要的变革，但令人惊讶的是，他们却迟迟没有推出这项变革。

一、CDNA和GCN简史

这里就不赘述历史细节了，AMD CDNA架构的前四代都可以追溯到AMD Vega架构，而Vega架构本身又是AMD Graphics Core Next (GCN)架构的第五代也是最后一个主流版本。GCN架构最初由AMD于2012年推出，面向消费级显卡，此后经过多次迭代和改进，如今已成为AMD服务器GPU的基石，并已持续十余年。

自2017年推出Vega（GCN5）架构，脱离AMD主流芯片以来，CDNA的每一次迭代都为AMD的GPU计算架构增添了许多新功能。然而，即便经历了这些变化，它们本质上仍然是对GCN及其16槽ALU结构的扩展。从内部结构来看，所有这些芯片都属于AMD所谓的GFX9架构，该架构是对Vega架构及其所有衍生架构的统称。

但时光荏苒，天下没有不散的筵席。GCN 和 GFX9 架构的时代也走到了尽头。AMD 从 2019 年开始逐步淘汰 GCN，推出了面向图形芯片的 RDNA 系列架构。如今，CDNA 也开始在服务器加速器领域步入正轨，与 RDNA 同步，继承了其诸多根本性的变革，这些变革自那时起便成为 AMD 图形 GPU 架构的基石。

暂且抛开对 GPU 架构的溢美之词，让我们简要地谈谈这里正在发生的根本性变化。

CDNA 5 带来的最大变化在于其底层 ALU/SIMD 结构和执行模型发生了巨大改变。此前，AMD 的线程波前宽度为 64 个线程，通常称为 Wave64。每个 64 线程波前会占用一个 16 槽 SIMD（SIMD16）四个周期，每个周期 SIMD 处理波前的四分之一。

每个计算单元 (CU) 配备 4 个 SIMD16 指令集，由此产生的执行流程旨在提升吞吐量，一次最多可执行 4 个波前，每次执行四分之一波前。这使得 GCN 完成一个 Wave64 波前的延迟为 4 个时钟周期，这是有意为之的设计选择，旨在隐藏从内存中获取波前中下一条指令的延迟。

Wave64 与 SIMD16 的组合也存在一些缺点：为了填充一个波前，着色器编译器（或人工编写者）需要找到 64 个可以组合在一起的线程，而且始终存在 4 个时钟周期的指令延迟。高并发在晶体管利用率方面非常高效（其基本原理与张量/矩阵核心相同），但实现这种并发可能很困难。

二、现代 CDNA 扩展：Wave32   SIMD32

最终，AMD 认为 Wave64   SIMD16 在实践中的缺点太多，而且他们无法从 GCN 中获得他们想要的高利用率/高性能。

为了解决这个问题，AMD 在 2019 年推出的首款 RDNA 架构（GFX10）中对其 GPU 架构进行了彻底的改进。波前规模从 64 个线程缩减至 32 个线程（Wave32），而内部 SIMD 的规模则从 16 个 ALU 扩展到 32 个 ALU（SIMD32）。现在，AMD 的 GPU 架构可以在单个周期内执行整个波前中的一条指令。除其他优势外，此举使 AMD 的波前规模与 NVIDIA 的波前规模保持一致，降低了指令延迟，并通过允许更小的线程组提高了 SIMD 利用率（从而提高了有效 IPC）。

回到当下，AMD 的 CDNA 5 架构也带来了类似的变革。SIMD16 和原生 Wave64 波前（尽管支持模拟）都已成为过去。取而代之的是 SIMD32 和对 Wave32 波前的重视。这无疑是一次 GPU 架构的世代变革。

对于AMD的服务器GPU而言，这将带来多项变化。其中最根本的变化或许在于每个周期可完成的工作量。AMD已将SIMD16全部替换为SIMD32，这意味着在给定的工作组处理器（WGP）配置下，CDNA 5的向量吞吐量是之前的两倍。正是这一变化使得MI455X的向量吞吐量翻了一番，因为执行所有向量工作负载的SIMD通道宽度现在增加了一倍。

这也有助于降低指令延迟，而指令延迟正逐渐成为AMD的一大劣势。首令牌时间和其他延迟指标是衡量AI性能的关键指标，而解析一条向量指令（尽管AI推理侧重于张量，但这类指令仍然很多）需要4个周期，这无疑会降低AI的性能。

与此同时，CDNA 5架构的改进之处不仅限于向量单元。矩阵单元（与向量单元一样，每个WGP封装4个矩阵单元）的吞吐量也得到了提升。在基准测试中，每个矩阵单元现在每个时钟周期可以处理至少两倍的大型张量运算，相当于每个矩阵单元的宽度增加了一倍。此外，AMD还进一步提升了FP4和FP8的性能，使CDNA 5每个时钟周期可以处理四倍的运算。

因此，尽管硬件参数未必能体现这一点，但AMD确实大幅提升了其每款基础WGP处理器的原始吞吐量（以及ALU的原始数量），而这正是MI455X峰值计算吞吐量大幅提升的主要原因。这与MI350形成了鲜明对比，MI350的峰值性能提升主要得益于对更小FP6/FP4格式的原生支持。

说到数值格式，虽然 CDNA 5 在这方面并没有为矩阵单元带来任何新东西，但 AMD 通过增加对 MXFP4 格式分数缩放的支持，改进了其矩阵单元。据该公司称，这将提高 MXFP4 的整体处理效率，尤其有助于减少 FP4 训练时的量化误差。

另一方面，向量单元正在支持一种新的数值格式 BFloat16 (BF16)，这种格式不知何故没有被纳入 AMD 之前的架构中。

最后，AMD 的 WGP 也配备了全新的超越函数单元。这部分与其他模块的改进类似，AMD 将超越函数单元的吞吐量提升了一倍。更新后的单元还支持一条新的指令：双曲正切 (tanh) 指令，用于计算一个数的双曲正切值。

从 AMD 的逻辑 GPU 架构上看，尽管每个 WGP 内部都发生了根本性的变化，但更大的计算架构与 CDNA 4 相比相对没有变化。AMD 用 WGP 取代了计算单元 (CU) 作为基本计算核心，但它们的组织方式与以前非常相似。

16 个 WGP 组成一个着色器引擎模块。两个这样的模块（外加 2 个用于冗余的备用 WGP）被打包到一个 XCD 中。XCD 层不仅是 AMD 计算硬件的物理边界，也是所有共享前端资源（例如调度器和异步计算引擎）的所在地。

MI455X 配备 8 个 XCD，总共可支持 256 个 WGP。这与 MI355X 的 WGP 数量相同，但得益于前文所述的吞吐量提升，即使 WGP 数量相同，MI455X 也能处理更多的数据。

三、CDNA 5 缓存和内存子系统：更扁平化，更宽阔

除了 CDNA 5 对 AMD 计算层次结构的根本性改变之外，新的 GPU 架构也给 AMD 的缓存和内存层次结构带来了一些重要的改变。

从AMD的幻灯片中可以清晰地看出，此次最大的变化在于AMD在其GPU架构中取消了一整层缓存。CDNA 4架构提供了三层缓存：L1、L2和L3/Infinity Cache，而CDNA 5架构则移除了我们所熟知的L2缓存。原本位于XCD上的小型缓存被移除，取而代之的是位于FCD上的AMD Infinity Cache，它现在充当了芯片的L2缓存。此外，MI455X的L2缓存容量仅为192MB，而MI355X的Infinity Cache容量为256MB。

内部，L2缓存分布在两个FCD中，每个FCD包含96MB缓存。这些缓存进一步被组织成96个1MB的SRAM块。据AMD称，L2缓存的总带宽为54TB/秒（每个FCD 27TB/秒），尽管容量有所缩减，但其总带宽仍是MI355X的三倍。

然而，与 CDNA 4 相比，CDNA 5 的另一项重大变化是 L2 缓存的访问规则变得更加严格。CDNA 4 允许 WGP 访问任一 IOD 上的 Infinity Cache，而 CDNA 5 则限制 WGP 只能访问其自身 FCD 上的 L2 缓存。WGP 无法访问其他 FCD 的 L2 缓存。实际上，芯片上有两个 96MB 的 L2 缓存，而不是像 MI355X 那样只有一个 256MB 的缓存。据称，这样做是为了改进 GPU 架构上原子操作的执行方式，并减少保持 FCD 缓存同步所带来的部分开销。

接下来，每个 XCD 中都有一个新的内存层次结构广播仲裁器，其部分作用在于弥补 XCD 级 L2 缓存的缺失。该仲裁器的功能之一是允许将内存读取操作多播给着色器引擎内的多个 WGP，而无需每个 WGP 单独进行读取，从而最终节省内存带宽。AMD 表示，这对于允许 WGP 一次性获取 AI 模型的权重和激活值尤其有用，因为它们通常共享相同的值。

最后，本地数据存储 (LDS) 缓存的大小也得到了提升。之前仅用于本地数据的 160KB 缓存，现在已扩展至 320KB，其中 256KB 用于本地数据，另外 64KB 用于向量缓存。实际上，CDNA 5 的 L1 缓存更大；这有助于将数据更靠近 WGP，并减少访问 L2 或更高缓存的需求。

与 L2 缓存一样，LDS 的双向带宽也得到了提升。AMD 没有公布具体数值，但表示带宽是 MI355X 的两倍。

除了内存层次结构之外，AMD 还投入巨资改进 CDNA 5 架构中的通用数据移动，既是为了提高架构的效率，也是为了使其能够扩展到适合 Helios 的机架级规模。

其中一项亮点是，AMD升级了每个WGP内部的张量数据移动器（TDM）单元，该单元与矩阵核心协同工作，异步地将数据加载到矩阵核心中。具体来说，AMD现在允许TDM在LDS和DRAM之间移动数据，完全绕过WGP的寄存器文件。据称，此举旨在减少数据传输开销和延迟，并释放计算单元用于其他任务。

说到延迟，AMD 还对整个架构进行了进一步改进，以降低内核启动延迟。这对于小型内核尤其重要，因为过长的启动时间会严重影响整体性能。

GPU架构中更大的DMA引擎也进行了全面改进，部分原因是为了更好地支持横向扩展网络。实际上，AMD将DMA引擎拆分为两部分：前端（在软件中可见）和后端（对软件隐藏）。这种抽象使得后端能够处理集群内节点之间的数据传输，而无需程序员显式地进行详细控制，从而为DMA操作提供了抽象层，使程序员无需在整个机架级系统中进行繁琐的数据管理。因此，运行在MI455X集群上的软件也会隐藏系统的物理地址，从而使整个机架级集群看起来像一个单一的系统。

这也有助于 AMD 在机架级系统中保持多个 UALoE 链路之间的数据传输平衡，因为硬件可以拆分 DMA 请求，并在纵向扩展域内最有效的链路数量上执行该请求。

尽管AMD对MI455X/CDNA 5的核心计算架构进行了重大革新，但完全可以说，这甚至并非AMD整体GPU架构最重要的升级。真正意义上的升级在于芯片的片外I/O能力，这一能力得到了大幅提升。

由于AMD需要支持更大规模的扩展应用，因此几乎完全放弃了MI3xx系列的所有旧I/O功能，转而采用全新的I/O子系统。该子系统既能满足AMD的带宽需求，又能支持最新的I/O和网络技术。所有这些功能都集成在独立的芯片中：全新的IOD。

在功能方面，MI455X 支持多种新型 I/O 技术。其中最引人注目的是 AMD 新增了对Ultra Accelerator Link (Ultra Accelerator Link) 的支持。Ultra Accelerator Link是业界公认的开放标准，用于在加速器之间建立高带宽、缓存一致的连接，从而实现横向扩展网络。简而言之，它是其他主要厂商对标 NVIDIA NVLink 的方案。

UAL 支持以两种方式构成了 MI455X 连接性的骨干。首先，以太网上的 UAL 是系统中所有纵向扩展网络的基础，AMD 的 IOD 能够独立提供完整的 UALoE 连接。同时，UAL 还用于为横向扩展网络提供与 Pensando 网卡的连接。原则上，使用 UAL 最终还可以让厂商混合搭配不同的加速器，虽然目前还没有厂商真正做到这一点，但 AMD 正在通过将其用于 Helios 中的网卡连接，实现次优方案。

除了 UAL 之外，新款 IOD 还支持新一代 AMD xGMI 链路以及 PCIe。xGMI 此前在 MI3xx 系列中用于 GPU 之间的连接，现在则用于 CPU 与 GPU 之间的连接。这是 AMD 首次支持以这种方式将独立 Instinct 加速卡连接到独立 CPU（也是 CPU 首次支持这种反向连接），xGMI 链路实际上相当于一条具有缓存一致性的专用 PCIe Gen6 连接。对于其他所有需求，IOD 也支持普通的 PCIe Gen6，相比 MI350 的 PCIe Gen5 支持有了显著提升。

从数据上看，所有这些链路加起来提供了巨大的带宽。对于 UALoE 链路，AMD 将芯片组织成 36 个链路，每个链路都由两条 200GbE 通道组成。这使得每个 UALoE 链路的总带宽达到 400Gbps，或者说芯片的总带宽达到 3.6TB/秒（双向）。这大约是 MI350 GPU 间带宽的 3.4 倍，并且分布在更多的链路上，从而支持更大的网络网状结构。

UAL 和 PCIe 连接方式更有趣一些，因为它们有多种配置方式。如果 MI455X 配置为全 UALink 连接（如 Helios 那样），则 IOD 可以配置三个 x8 UALink，每个通道的运行速度为 128Gbps（是 PCIe Gen6 的两倍）。这样，MI455X 每个 UALink 的带宽为 128GB/秒，总 UALink 带宽为 384GB/秒。否则，如果 IOD 配置为 PCIe Gen6，则它将作为一对 x16 链路运行（每个通道的运行速度为 64Gbps），总带宽为 256GB/秒。

这两种模式都比 Instinct 系列的横向扩展带宽有了显著提升。MI350 仅配备一个 400Gbps 网卡，而 MI455X 可以驱动三个 800Gbps 网卡，横向扩展带宽是前者的六倍。

最后，xGMI 链路（一条以 64Gbps 数据速率运行的 x16 链路）可在 GPU 和主机 CPU 之间提供额外的 128GB/秒带宽。

总的来说，这意味着每颗 MI455X 芯片在每个方向上的带宽略高于 2.3TB/秒。或者按照 AMD 更倾向的双向带宽标准，约为 4.6TB/秒。

诚然，与现有的HBM4带宽相比，这仍然只是沧海一粟，更不用说内部的Infinity Fabric本身了。但它比MI355X的带宽高出数TB/秒。毫不夸张地说，MI455X的主要创新之一就是AMD能够在每颗芯片中集成数十个网络控制器。

与所有这些I/O带宽相对的是MI455X的内存带宽。 对于这款全新的高端加速器，AMD不仅需要能够在GPU之间快速传输数据，还需要能够 在GPU内部快速传输数据。过去几年，关于AI加速器的内存带宽问题已经进行了大量的讨论，而基本需求始终未变：AI加速器需要大量的带宽才能进行大规模的训练和推理。

自近十年前Instinct系列问世以来，高带宽内存（HBM）一直是满足这些需求的解决方案。HBM突破了DRAM制造和芯片封装的极限，通过将DRAM芯片堆叠技术与主机芯片和HBM堆叠之间超宽（且密度极高）的内存总线相结合，成为业界最前沿的内存解决方案。

如今已发展到第四代的HBM4，在很多方面都是自十多年前首次推出以来，HBM技术标准发生的最大变革。与HBM3(e)相比，HBM4的关键变化在于每个HBM堆栈的总线宽度翻了一番：每个堆栈的总线宽度从1024位增加到2048位。在等频条件下，这将使给定HBM堆栈的可用内存带宽翻倍，这是HBM过去几代迭代产品中内存带宽的最大飞跃。

AMD 并没有仅仅满足于将内存总线宽度翻倍。他们并没有像 MI350 系列那样用 8 个 HBM4 堆栈替换原有的 8 个 HBM3e 堆栈，而是直接升级到了 12 个 HBM4 堆栈，总共增加了 4 个堆栈。因此，MI455X 的内存总线宽度达到了惊人的 24,576 位，是 MI350 系列总线宽度的三倍。

正是这条更宽的内存总线推动了AMD所有DRAM带宽的提升。事实上，MI455X的内存总线单引脚频率略低于MI355X，约为7.6Gbps/引脚，而上一代产品为8Gbps/引脚。因此，AMD在MI450系列中略微降低了内存频率，但大幅拓宽的内存总线足以弥补这些损失。HBM本身就是一种“宽”内存技术，而12层HBM4堆叠更是将宽内存性能提升到了一个新的高度。

现在我们已经掌握了MI455X和NVIDIA的竞争对手Rubin GPU的规格，接下来值得探讨的是，这两家公司在总线尺寸和显存频率方面采取了不同的策略。虽然NVIDIA也采用了HBM4显存，但其显存总线宽度比AMD更窄，仅使用了8个显存堆栈。不过，NVIDIA的显存频率要高得多，达到了约10.7Gbps/引脚。因此，Rubin和MI455X的显存带宽非常接近，AMD略胜一筹，达到了23.3TB/秒，而NVIDIA则为22TB/秒。

这种差异也影响到两款芯片的内存容量，这也是AMD在内存容量方面拥有更大优势的原因。目前HBM4显存堆叠的最大容量为36GB，由12个3GB显存颗粒组成，堆叠方式为12层堆叠。AMD由于拥有多50%的堆叠层数，因此可以安装多50%的显存。计算很简单，但这将首次使AMD在单GPU的总显存容量方面获得显著优势。

因此，AMD面临的权衡之处在于，更大的内存总线布线难度更高。完美连接25000条线路绝非易事。而对于AMD的芯片工程师来说，他们必须在首次使用CoWoS-L架构的同时完成这项任务。

无论如何，MI455X 的 432GB HBM4 内存均匀分布在两个 FCD 芯片上。每个芯片包含 6 个 HBM4 内存控制器，并连接到 6 个 HBM4 内存堆栈。连接两个 FCD 芯片的 Infinity Fabric 总线速度足够快，因此可以将 MI455X 配置为在单个 NUMA 域内作为单个芯片运行，其地址交错分布在所有 12 个内存堆栈上。或者，该芯片可以划分为两个 NUMA 域（NPS2 模式），其中每个 FCD 芯片及其关联的 XCD 芯片作为各自的域运行，从而避免向另一个 FCD 芯片及其连接的内存堆栈发送内存请求。

虽然这并非内存容量的限制，但MI455X芯片还可以进一步分区。该芯片最终可以分区到最小的单个XCD，这意味着一个MI455X芯片可以呈现为8个独立的设备。当然，所有这些设备都是完全隔离的。

尽管 AMD 目前的重点显然是 MI455X，但该公司有一个公开的路线图，涵盖未来几年，还有一个内部路线图，规划得更远。

自去年推出MI350系列以来，AMD已将其服务器GPU的发布周期调整为每年一次。这意味着该公司每年都会推出新的服务器芯片，以争分夺秒地推出新功能并保持竞争优势。随着时间的推移，我们至少还会看到几种不同的芯片版本。

在不久的将来，AMD MI400系列的另一项重要项目将是MI430X。虽然MI430X并非AMD人工智能（AAI）讨论的重点，但它将是AMD面向高性能计算（HPC）市场的Instinct GPU产品，其FP64向量计算速率远高于5 TFLOPS的MI455X。这些芯片专为需要高性能和高精度格式的传统GPU计算场景而设计，它们以向量而非超密集多维张量的形式处理较小的数据块。近年来，随着面向人工智能的GPU展现出更大（也更有利可图）的市场机遇，这一市场略显黯淡，但AMD认为它仍然值得继续发展。

在AAI大会上，AMD简要公布了这款芯片的一些关键性能参数。在计算方面，MI430X的FP64向量运算性能将达到288 TFLOPS，约为上一代MI300X的3.5倍，而MI300X曾是AMD面向高性能计算（HPC）市场的旗舰产品。同时，在内存方面，AMD确认MI430X将配备相同的432GB HBM4内存子系统。由此推断，MI430X将采用全新的、专为HPC设计的XCD芯片，并结合AMD现有的MI455X FCD芯片。如果属实，这将充分展现AMD采用芯片组（chiplet）并能将其复用于不同产品所带来的优势。

MI430X 预计将于 2027 年上半年上市，比 MI455X 晚 3 到 6 个月左右。

与此同时，MI400系列的继任者MI500系列正在研发中，预计将于2027年发布（大概在年底前后）。MI500系列基于CDNA 6架构，其主要特点是全面提升带宽。

在内存方面，这款GPU将能够与下一代HBM内存HBM4e配合使用。HBM4e是HBM4的升级版，旨在支持更高的内存频率，目前的方案提出的频率范围在12.8Gbps/pin到16Gbps/pin之间，这意味着AMD GPU的每个内存堆栈的带宽将几乎翻倍。

与此同时，在网络方面，AMD承诺提供“领先的GPU扩展域”支持，但其概述并未详细说明具体内容。众所周知，NVIDIA也有自己的项目旨在扩展至144个GPU的域（Kyler NVL144），因此这很可能是AMD对此的回应。除了GPU数量之外，AMD表示，他们将在MI500系统（以及后续的Helios 500）中使用铜缆和光纤网络，突破目前全铜缆网络架构及其带来的传输距离限制。这些网络方面的问题无疑引发了人们对MI500未来发展的诸多疑问，其中最值得关注的是，AMD是否会继续在扩展域中使用UALoE，或者我们是否会在一年后看到原生UALink交换芯片，从而使AMD摆脱以太网封装。

最后，继2027年的Mi500系列之后，2028年将推出MI600系列。目前，AMD尚未透露该系列的任何细节。甚至连GPU架构也只是被简单地称为“CDNA Next”，但这与AMD每年发布服务器GPU芯片的节奏一致。鉴于AMD过去在GPU架构方面的表现，CDNA Next很可能是一次更全面的GPU架构升级（CDNA 5可以看作是对CDNA 4的某种程度的更新），但具体细节仍有待观察。随着服务器GPU在AMD的收入中占据如此重要的地位（因此AMD在该领域投入了巨额资金），我们正步入AMD GPU的一个新时代。

按照两年的周期，CDNA Next/MI600 的发布时间或许也刚好足够 AMD 开始整合他们在 8 月初从芯片初创公司 Taalas 收购的部分技术。Taalas 的 ASIC 式 AI 推理芯片与 AMD 的可编程 GPU 截然不同，但不可否认的是，将 AI 模型及其权重直接烧录到芯片中作为固定功能硬件，可以打造出非常高效（但非常不灵活）的硬件。

本次GPU深度解析到此结束，AMD凭借CDNA 5架构及其首款服务器GPU——Instinct MI455X——给我们留下了许多值得思考的内容。CDNA 5是AMD迄今为止最具雄心的服务器GPU，在此过程中，AMD几乎对该架构的每个方面都进行了不同程度的改进。

尽管很少有人会直接操作这些GPU的核心SIMD指令集，但从Wave64 SIMD16到Wave32 SIMD32的转变可谓姗姗来迟。这标志着定义了AMD GPU十余年的GCN架构的最终交接，而GCN架构自Instinct系列诞生以来一直是其基石。更宽的SIMD通道和更窄的波前为AMD在指令延迟和硬件吞吐量方面带来显著提升奠定了基础，而这些提升又会对整个架构产生深远的影响。

说到吞吐量，CDNA 5 和 MI455X 带来的性能提升很大程度上归功于 AMD 为这款芯片投入的大量硬件。得益于台积电的 N2 工艺节点，AMD 得以将向量单元和矩阵核心的宽度分别翻倍，并且通过进一步的优化，显著提升了至关重要的低精度 FP8 和 FP4 运算的性能。仅凭这一点，MI455X 就足以比上一代 MI355X 实现重大飞跃。

但更重要的故事在于其宏观层面——AMD 需要对 CDNA 5 架构进行演进，以支持机架级计算。MI455X 的 I/O 带宽提升远超其原始性能的提升。该芯片的 I/O 带宽几乎是前代产品的四倍，这得益于其复杂的 UALink over Ethernet 收发器网络。正是这些关键的网络增强功能，使得 MI455X 能够在单个域中扩展至多达 72 个 GPU，远超 8 路 MI355X 系列。为了支持如此高的 I/O 带宽，芯片设计的几乎方方面面都受到了影响，从封装方式到内部 Infinity Fabric 网络的运行方式，无一例外。

与此同时，我们不能忽略AMD在内存带宽和内存容量方面的巨额投入。虽然MI350加速器凭借8个HBM3e内存堆栈在当时已经处于领先地位，但AMD决定采用12个HBM4内存堆栈，无论从字面意义还是象征意义上来说，都是一项重大举措。连接这惊人的24,576位内存总线所需的线路数量本身就是一项壮举，更不用说23.3 TB/秒的内存带宽所带来的性能提升了。

最终结果是，MI455X及其底层CDNA 5架构在几乎所有方面都突破了AMD服务器GPU的极限。AMD似乎不遗余力，力求延续其在服务器GPU市场的近期成功，不仅为更快的GPU奠定了基础，也为下一代Instinct加速器的发展铺平了道路。

从 MI455X、EPYC Venice 到 Helios，AMD 在服务器硬件和人工智能系统领域雄心勃勃。随着首批系统于今年第四季度开始出货，未来一年这一切将如何发展，着实令人期待