英伟达首次直接挑战英特尔和AMD在CPU领域的统治地位。随着Vera的发布，这家人工智能技术供应商的目标是尽可能多地向超大规模数据中心和其他云服务提供商推销其独立CPU。

阿里巴巴、字节跳动、Meta、Oracle、CoreWeave、Lambda、Nebius 和 NScale 等公司已经签约在其各自的云平台上部署这些芯片。

Nvidia Grace CPU 的后续产品承诺提供88 个定制的 Armv9.2 内核、176 个线程、支持高达 1.5 TB 的 LPDDR5X 内存，并且至关重要的是，它将作为一个独立于 Nvidia GPU 的独立平台提供。

但除此之外，除了铺天盖地的宣传，声称它将是人工智能领域最好的 CPU 之外，Vera 的内部运作机制直到最近才逐渐揭开神秘面纱。

上个月底，情况发生了变化，英伟达发布了一份白皮书，揭开了其首款完全定制 CPU 的神秘面纱，这款 CPU 比任何人预想的都要古怪得多。

表面上看，英伟达将 Vera 的目标定位在两个关键工作负载：第一个也是最不出所料的，是作为人工智能核心节点，负责管理其即将推出的 Vera Rubin 系统中的 GPU。第二个，也是更具争议性的，是作为人工智能代理的宿主，这些代理与驱动它们的大型语言模型 (LLM) 不同，它们实际上并不运行在 GPU 上。

据我们了解，Vera的核心架构很大程度上是为了消除流水线和执行瓶颈，从而提高其在这些方面的效率。但在深入探讨英伟达的Olympus核心之前，让我们先回顾一下芯片本身。

揭开Vera相当厚实的散热片，你会发现里面有一系列负责I/O、内存和计算的芯片组。然而，这并非AMD推广的芯片组架构的又一次简单重复。

与将数十个核心分散在多个芯片上的 x86 处理器厂商不同，Vera 的计算芯片是单片式的。所有 88 个核心都集成在一块巨大的硅片上，据我们了解，这块硅片采用台积电的 3nm 工艺制造。英伟达声称，与竞争对手的设计相比，其单片式计算架构在核心间带宽和延迟方面都具有优势。

计算芯片周围环绕着各种芯片组，包括八个 LPDDR5x 控制器，以及两个看似独立的 I/O 芯片，一个负责 PCIe 6.4 和 CXL 3.1 连接，另一个专用于芯片的 NVLink 芯片间接口。

在封装设计方面，Vera 有点像亚马逊的Graviton 4 CPU，它也采用了单片计算芯片，同时将 I/O 和内存功能分离到专用硅片上。

与大多数现代数据中心 CPU 一样，Vera 支持单路和双路配置，后者被英伟达称为 Vera CPU 超级芯片。

这款超级芯片于 3 月份在 GTC 大会上亮相，它采用两个 Vera CPU，通过 NVLink-C2C 连接，双向带宽高达 1.8 TB/s，总共拥有 176 个核心和 352 个线程。

这两颗芯片由 16 个 SOCAMM2 LPDDR5x 内存模块供电，可提供 2.4 TB/s 的总内存带宽（每个模块 1.2 TB/s）——大约是 AMD 于 2024 年推出的 Turin Epyc 的带宽的两倍。

英伟达的智能AI参考设计要求将多达128个这样的超级芯片（256个CPU），总共22528个核心和384TB内存塞进一个液冷机架中。

此前，英伟达一直依赖Arm提供的现成CPU内核。例如，根据迭代版本不同，英伟达的Grace CPU会使用Arm的Neoverse V2（GB200/300）、Neoverse V3（AGX Thor）或Cortex X925和A725内核（GB10），具体取决于哪种内核最方便。

继 Vera 之后，英伟达开始着手设计其自主研发的 ARMv9.2 兼容内核，名为 Olympus。事实上，这款芯片的定制程度究竟如何，目前尚无定论。据称，该芯片大量借鉴了现有的 Arm IP，而从 Olympus 的架构框图来看，我们也能理解个中缘由。

Olympus 架构拥有一个10 路 解码器和调度器、8 个整数运算逻辑单元 (ALU)、6 条向量/浮点流水线 (SVE 128)、4 个加载单元和 2 个存储单元。因此，与 AMD Turin Epyc 架构中的 Zen 5 核心或 Intel Granite Rapids Xeon 架构中使用的 Redwood Cove 核心相比，它的前端和后端都更加庞大。

但与市面上常见的Arm核心相比，Olympus的前端和后端并没有突破任何纪录。事实上，Olympus看起来很像经过大幅修改的Cortex X925。

也就是说，Nvidia 声称 Olympus 具有完全定制的神经分支预测器，能够同时探索两个分支。

分支预测是现代 CPU 性能的关键，它涉及预测未来的代码路径并在需要之前执行这些路径。Vera 通过每个周期预测两条路径，降低了预测错误的概率，理论上可以提升其性能。

据我们所知，Vera 的许多定制化设计都是为了消除流水线和执行气泡，从而最大限度地提高每时钟周期指令数 (IPC)。

特别是，Nvidia 声称其神经分支预测器比基于历史的方法具有更高的命中率，使其成为运行分支密集型工作负载的理想选择，例如 AI 代码助手动态生成的 Python 脚本。

英伟达还声称对中核进行了多项创新，其目的同样是为了缓解流水线停顿。内存重命名技术通过允许依赖指令在加载完成之前执行（如果可以推断出与数据的关系），从而加快了存储到加载的依赖链。

该公司解释说：“这对于指针密集型软件、图遍历、运行时框架和复杂的面向对象工作负载尤其有利。”

英伟达还实施了一种值预测方案，该方案“识别稳定的依赖链并在其产生之前预测未来的值，从而允许依赖指令进行推测性执行，同时稍后验证其正确性。”

该公司声称，此功能有助于加快重复性软件模式和顺序数据处理的速度。

在后端，Nvidia Olympus 的 ALU 和 FP 单元配置与 X925 类似，但它们的实现方式有所不同。其中八个 ALU 是简单的整数单元，负责处理基本的数学运算；而 Nvidia 表示，另外两个复杂的 ALU 则负责处理乘法、除法、CRC 校验以及移位密集型工作负载。

后端还设有四个专用分支单元，与芯片的分支预测器配合使用，以解决原本会导致流水线停滞的控制流决策。

同时，对于浮点运算，Olympus配备了六个 128 位 Arm 可扩展矢量引擎 (SVE2) 扩展，也支持 FP8，以及一对专门用于加速加密运算的矢量单元。

每个核心都配备 64 KB 的 L1 指令缓存、96 KB 的 L1 数据缓存，以及每个核心 2MB 的 L2 缓存。该芯片还具有 164 MB 的系统级缓存 (SLC)，该缓存分布在整个芯片上。

Olympus最有趣的绝招或许是支持同步多线程（SMT）。

自 2002 年以来，同步多线程 (SMT) 一直是 x86 芯片的核心技术。该技术通过允许两个线程在单个周期内利用空闲的执行单元来提高资源利用率。虽然 SMT 并不能使吞吐量翻倍，但对于某些应用而言，它可以带来两位数的百分比提升。

虽然 Arm 过去曾支持 SMT（你可能还记得 Cavium ThunderX2 在被 Marvell 收购之前实现的四路 SMT），但该公司在其自主研发的 CPU 中淡化了SMT 的价值。

尽管Arm对这项技术不感冒，但英伟达仍然在Olympus中实现了类似SMT的功能。之所以说是类似SMT ，是因为它并非传统意义上的SMT。英伟达并没有将其称为同步多线程，而是称之为空间多线程，考虑到其工作原理，这个名称可谓恰如其分。

Olympus的SMT实现方式并非两个线程共享一个核心的资源，而是更像是核心分裂并共享缓存行。你可以选择使用一个高性能核心，也可以选择使用两个低性能核心。在我们看来，这有点像CPU的多实例GPU（MIG）。

这份白皮书着重强调了空间多线程（SMT）如何避免x86架构处理器中常见的线程争用问题，这不无道理，因为英伟达的线程更像是独立的内核。不过，我们并不建议过分解读这些说法。一直以来，都有一些应用程序受益于SMT，而另一些则不然，而且如果你不需要它，也很容易将其关闭。

因此，英伟达的SMT实现可能对代理沙箱中的代理工作负载大有裨益。这些沙箱本质上就是容器，而容器内部存在两种工作负载：一种是容器内运行的作业（例如Python脚本和解释器），另一种是容器运行时，它负责编排容器工作负载并管理网络和存储覆盖层。

这是截然不同的任务。通过将核心拆分，英伟达可以将工作负载和运行时环境分开，理论上这应该能带来更稳定的性能。

在深入了解 Vera 的内存子系统之前，我们需要花几分钟时间讨论一下英伟达的第二代可扩展一致性架构 (SCF)，它用于将所有 88 个核心连接在一起。

正如我们之前提到的，Vera 采用单芯片计算设计，这意味着它的所有核心都封装在同一块硅片上。SCF 本质上是一条缓存一致性高速通道，旨在以高达 3.4 TB/s 的双向带宽将各个核心连接起来。

正如英伟达解释的那样：“SCF 被组织成一个分布式一致性互连，通过一系列一致性交换节点 (CSN) 连接多个内核。每个 CSN 最多连接两个内核，并作为架构内的路由点，从而实现内核、缓存、内存控制器和外部接口之间高效的请求传输。”

SCF 也是 L3 缓存所在之处，这也解释了为什么英伟达选择将 SLC 分片到整个 CPU 上，而不是将其放在一个大的、集中的池中。

SCF 至关重要，因为如果没有它，Vera 实际上就无法有效地利用其内存带宽。

Vera 配备八个 LPDDR5x 内存控制器，支持最高 9600 MT/s 的 SOCAMM2 模块。Vera 的内存速度高达 1.2 TB/s，每个核心的内存速度约为 14 GB/s，是目前世界上速度最快的内存子系统之一。但值得注意的是，竞争对手的芯片早在近两年前就已上市。

英特尔和AMD的下一代CPU都将升级到16通道内存。我们仍在等待英特尔192核心Diamond Rapids平台的详细信息，但上周我们了解到，AMD的Venice CPU将拥有高达256个核心，并支持8000 MT/s的RDIMM或12800 MT/s的MRDIMM，这相当于1 TB/s到1.6 TB/s的读写速度。

假设 AMD 的 GMI 链路这次不会成为瓶颈，那么 Zen 架构的 96 核 Epyc 处理器每个核心的读写速度应该能达到 17 GB/s 左右，没有理由认为英特尔的 Xeon 7 处理器做不到这一点。

也就是说，由于采用了LPDDR5X而非标准RDIMM，Vera的内存子系统功耗应该会更低一些。该公司声称，在持续负载下，其内存子系统的功耗仅为30至40瓦，而传统服务器平台的内存子系统功耗则为100至200瓦，具体数值取决于通道数和DIMM数量。作为参考，Vera的TDP可在250瓦至450瓦之间配置。

功耗问题或许可以解释为什么 AMD 正在研发代号为 Verano 的新型 Epyc 处理器，该处理器也将采用 LPDDR5X 内存。

Vera芯片不仅内存带宽惊人，I/O带宽也同样出色。它是首批支持PCIe 6.4和CXL 3.1的芯片之一，领先于英特尔，甚至可能领先于AMD，这取决于首批实际交付到用户手中的系统。

与以往的 PCIe 版本升级一样，PCIe 6.0 的单通道带宽翻倍至 64 Gbps，这意味着单个 x16 插槽的传输速度可达 128 GB/s（双向 256 GB/s）。单个 Vera 插槽可支持 6 个这样的插槽（总共 96 条通道），用于连接网卡、存储设备和其他外围设备。在双路 Vera CPU 超级芯片配置中，通道数量略有下降，为 176 条通道或 11 个 x16 插槽。

除了 PCIe 之外，这些通道还支持 Compute Express Link 3.1。CXL 已经存在一段时间了，但 3.1 版本因其对互连结构和内存共享的支持而备受关注。

正如我们之前讨论过的，这种能力为网络附加内存设备（我们亲切地称之为内存神盒）打开了大门，多个 CPU 可以共享内存。

最后，我们需要谈谈 Vera 的 NVLink 芯片间互连技术。这项高速互连技术最初在其 Grace CPU 中引入，现在其带宽已翻倍至 1.8 TB/s 的双向带宽（上行和下行均为 900 GB/s）。

这种高速互连技术能够实现连接的 CPU 或 GPU 之间一致的内存访问。在 Vera Rubin 超级芯片中，CPU 通过 NVLink 与两个 GPU 通信。而对于 Vera CPU 超级芯片，NVLink-C2C 接口提供了一种极速互连，有效缓解了多路系统中常见的带宽瓶颈问题。

在代理工作负载方面，Nvidia 估计 Vera 在代表代理工作负载的基准测试中，其每核性能将比 AMD 的 128 核 Epyc 9755 高出 1.8 倍，在图遍历作业中性能最高可提升 2.6 倍。

虽然这听起来很令人印象深刻，但我们现在还不会过分解读英伟达的性能声明。Turin 架构发布至今已近两年，这使得它成为一个有利的比较基准。众所周知，CPU 基准测试很容易被人为地挑选数据，而微基准测试虽然有助于量化硬件性能，但并不总是能代表实际应用场景下的性能表现。

一个经典的例子是早期 AMD Epyc 处理器与 Intel Xeon 处理器之间的核心间延迟差异。正如我们之前提到的，AMD 采用多芯片架构，在 Turin 架构中，每个核心复合体芯片 (CCD) 最多可容纳 8 个频率优化核心或 16 个密度优化核心。

对于单个CCD就能处理完的工作负载，核心间延迟极低。但如果一个CCD上的核心需要与另一个CCD上的核心通信，则必须遍历I/O芯片，这会造成严重的性能损失。

直到最近，英特尔一直偏爱核心数更高的计算芯片，从历史上看，这种芯片在对延迟敏感的应用（如数据库）方面表现更好，原因与英伟达在 Vera 上选择大型单体计算芯片的原因相同。

这种做法是否真的具有优势，取决于具体的应用场景，并没有哪一种方法明显优于另一种。两者各有优点。AMD 的芯片组架构允许他们使用更小、良率更高的芯片，从而带来更高的利润率。

我们还应该提到，Venice 升级到了 12 核和 32 核 CCD，这意味着工作负载需要更加繁重才能让你注意到延迟的增加。

我们之前说过，现在再说一遍：从来没有，也永远不会有一款CPU能够统治所有CPU。Vera并不能改变这一点。

今年早些时候，我们在 Phoronix 测试套件中对 Vera 在英伟达指定的一系列测试中的表现进行了初步了解，我们对 Vera 在其目标工作负载下的性能持乐观态度，但我们期待看到它在生产硬件上的完全独立运行，尤其是在 AMD 的 Venice 即将发布之际。

我们完全预期 Vera 会非常畅销，即便不是因为它的性能，也是因为如果你想要超过 8 个 Rubin，那它很可能就配备了 Vera CPU