---

  新智元报道  

2026年1月8日，NVIDIA再次用硬核数据刷新AI推理的性能上限。

英伟达官网披露：基于Blackwell架构的推理软件栈升级，让混合专家模型（MoE）的推理效率迎来「阶跃式」突破——

单GPU吞吐飙升2.8倍，显著降低了推理成本。

英伟达为何这次能只使用软件升级就实现如此显著的性能提升，这归因于MoE模型的特殊性。

以DeepSeek-R1为例，这个6710亿参数的稀疏MoE模型，每次推理仅激活370亿参数（「稀疏激活」），看似「轻量」，实则暗藏算力挑战：专家模块间的动态路由需要高频数据交换，预填充（prefill）与解码（decode）阶段的计算负载差异大，传统架构极易因通信瓶颈或精度损失陷入「性能墙」。同时MoE架构中的多个模型需要频繁通信。

英伟达给出的应对之法，是在本身的硬件基础上，通过软件针对性升级，从而发挥出硬件的潜力。

图1：GB200 NVL72机柜

GB200 NVL72机架级平台是本次突破的「物理基石」。

它通过第五代NVLink互连72块Blackwell GPU，GPU之间具有1800GB/s双向带宽高速连接——这一设计是基于稀疏 MoE 架构模型专门进行的优化，相当于给72个「专家大脑」装上了「超高速神经突触」，让专家间的数据交换告别「拥堵」。

软件层面的更新，首先是NVFP4四比特浮点格式。

相比传统FP4，NVFP4通过NVIDIA自研的数值分布优化，在压缩数据量的同时，最大限度保留了模型精度（这对MoE的稀疏激活至关重要，避免因精度损失导致路由错误）。

配合硬件级NVFP4加速单元，Blackwell让模型使用低精度计算，但却能够相比其他 FP4 格式，具有更高的准确性。

图2：在 HGX B200 上，开启NVFP4与FP8时的吞吐量与交互性曲线对比

此外，「分解服务」（disaggregated serving）策略进一步释放了GB200的潜力：将预填充（计算密集型）与解码（内存密集型）分配到不同GPU组，利用NVLink Switch的灵活拓扑实现「计算-内存」解耦，避免单一资源成为瓶颈。

如果说硬件是「基础」，软件则是「引擎调校」。NVIDIA TensorRT-LLM开源库的近期优化，让GB200 NVL72在DeepSeek-R1上的单GPU吞吐，过去三个月直接飙升2.8倍。

具体来看，三大优化堪称「性能催化剂」：

上述三项创新，使得GB200在运行DeepSeek R1时，相比2025年10月的软件版本，获得更高的吞吐量。

图3：软件更新给GB200带来的性能提升

随着AI从「能用」走向「好用」，用户对交互性的要求激增——聊天机器人要「秒回」，代码助手要「实时补全」，而吞吐量的上升，意味着更低的延迟。

并非所有场景都需要GB200 NVL72这样的包含72块显卡的「巨无霸」。

对于风冷部署的企业或云服务商，NVIDIA HGX B200（8卡Blackwell）同样交出了惊艳答卷——其核心武器是多token预测（MTP）与NVFP4的组合拳。

传统推理中，模型逐token生成，每一步都要等待前一步完成；而MTP通过预测多个候选token（而非单个），让GPU在一次计算中覆盖更多生成步骤，相当于在解码任务时批量处理，「一次思考，多步输出」。

图4：MTP及不同精度带来的性能提升

实测显示，在1K/1K、8K/1K、1K/8K等多种输入输出序列组合下，MTP均显著提升了吞吐量，且交互性越高（延迟要求越严），收益越明显。

当MTP遇上NVFP4，性能增益被进一步放大。NVFP4不仅通过四比特压缩降低内存带宽压力，更依托Blackwell的张量核心实现高效计算。

结合TensorRT-LLM与TensorRT Model Optimizer的全栈支持，HGX B200在保持精度的前提下，吞吐曲线随MTP NVFP4的启用持续右移——意味着在相同交互性下能服务更多用户，或在相同用户数下提供更流畅的体验。

对企业与云服务商而言，现有Blackwell GPU通过软件升级即可获得2.8倍吞吐提升，相当于「免费扩容」，大幅延长硬件生命周期；对模型开发者，TensorRT-LLM 提供了一个高级的API。

原生PyTorch架构给开发者提供了兼具易用性与扩展性的结果，这降低了优化门槛，让更多人能聚焦模型创新而非底层调优

这种「不依赖换硬件就能升级性能」的能力，让英伟达在专业显卡领域的护城河相比AMD，英特尔等竞争者更深。

Blackwell架构 TensorRT-LLM的组合，在MoE推理问题上，做到了在「高精度、低延迟、高吞吐、低成本」间的既要又要。英伟达的护城河不止是芯片，更是那套能「从石头里榨出血来」的软件生态。