近年来，大模型快速发展，从千亿参数到万亿参数，AI训练与推理对算力的需求持续增长。越来越多的GPU被部署到服务器和数据中心中，以支撑更复杂的模型训练和更高并发的推理任务。
然而，当GPU数量不断增加，真正的挑战已经不仅仅是增加计算资源，而是如何让更多GPU实现高效协同。如果计算节点之间的数据无法快速传输，再强大的算力也难以充分发挥，数据传输效率甚至可能成为影响整体性能的瓶颈。
因此，在AI数据中心建设中，算力扩展已经不只是"增加GPU数量"，更需要构建能够支撑高带宽、低时延通信的互连架构。目前，业界主要采用Scale-Up和Scale-Out两种扩展方式，它们分别对应不同的计算架构，也对高速互连提出了不同的要求。
那么，两者究竟有哪些区别？
不同场景下又该如何选择合适的高速互连方案？
Part.1
AI 集群的建设，本质上是在不断扩展计算能力。AI算力的扩展主要有两条路径：一是提升单节点计算能力，二是扩展整个计算集群规模。这也形成了AI数据中心两种典型的扩展架构——Scale-Up与Scale-Out。
Scale-Up：通过增加单个计算节点内的GPU数量，提高单节点的计算能力。
Scale-Out：通过增加服务器节点数量，将更多计算资源连接成一个大规模AI集群。
虽然二者都以提升整体算力为目标，但它们关注的重点并不相同。
Scale-Up更关注单节点内部的高效协同，需要GPU、CPU、NIC存储等组件之间实现超高带宽、超低时延的数据交换；而Scale-Out更关注节点之间的协同计算，需要依靠高速网络将大量服务器连接起来，实现集群级的数据通信。
从高速互连的角度来看，两种架构不仅连接范围不同，对带宽、传输距离、布线方式以及产品类型的要求也存在明显差异。
Part.2
随着AI大模型训练对计算效率要求不断提升，越来越多的GPU被集成到同一台服务器中。单节点算力不断提升也意味着服务器内部需要承担更大的数据交换压力。
Scale-Up关注单节点内部的高效协同，让多个GPU不再独立工作，而是需要频繁交换模型参数、中间计算结果等海量数据，使整个服务器能够像一台更大的计算系统一样运行。因此，服务器内部互连的带宽、时延和稳定性，直接影响着GPU的利用率和模型训练效率。
对于Scale-Up而言，高速互连贯穿了服务器内部各个关键组件，不同的连接关系承担着不同的数据传输任务。
从典型的服务器内部互连可以看到，Scale-Up主要包括以下几类连接：
GPU与GPU：负责GPU之间的大规模数据交换，是模型并行训练的重要基础，通常采用NVLink、PCIe、CXL等高速互连技术，实现高带宽、低时延通信。
GPU与CPU：承担计算任务调度、数据管理等功能，依托PCIe、CXL等互连协议，实现CPU与GPU的高效协同。
GPU与NIC：当服务器需要与其他节点进行数据通信时，高速网卡成为连接内部计算与外部网络的重要桥梁，常采用PCIe、MCIO等高速连接方案。
GPU与存储：训练过程中，大量数据需要在GPU与高速存储之间快速读写，多采用PCIe、SlimSAS、MCIO等高速连接方式，保障数据吞吐能力。
虽然这些连接的传输距离通常只有几十厘米，但却承担着AI服务器最核心的数据交换任务。随着GPU带宽持续提升以及224GPAM4等高速技术的发展，服务器内部互连已经不仅是简单的物理连接，而是决定单节点性能释放的重要基础设施。如何在有限空间内实现更高带宽密度、更低时延和更高可靠性，也成为Scale-Up架构持续演进的重要方向。
Part.3
当单台服务器的计算能力不断提升后，AI模型对算力的需求仍在持续增长。受GPU数量、供电、散热等硬件条件限制，仅依靠Scale-Up已无法无限扩展。因此，AI数据中心开始通过部署更多计算节点，并借助高速网络将它们连接成统一的计算集群，这就是Scale-Out架构。
与Scale-Up聚焦服务器内部不同，Scale-Out更关注节点之间的数据交换能力。在大规模AI集群中，模型训练需要不断进行梯度同步、参数更新和数据传输，大量通信发生在服务器之间。如果网络带宽不足或通信效率较低，即使单节点拥有很强的计算能力，也难以发挥整个集群的性能优势。
因此，Scale-Out的互连范围从服务器内部延伸到了服务器之间、交换机之间，甚至整个数据中心网络。不同层级承担着不同的通信任务，也对应着不同的互连需求。
服务器与交换机（短距离互连）：通常采用DAC方案，适用于机柜内短距离连接，具有低功耗、低时延、成本优势。
服务器与交换机（中距离互连）：通常采用AEC方案，通过主动均衡技术提升传输距离，在保持铜缆优势的同时满足更长距离部署需求。
服务器与交换机（长距离互连）：通常采用AOC方案，利用光纤实现更长距离、高带宽的数据传输，适用于跨机柜等场景。
交换机与交换机（骨干网络互连）：通常采用光模块与光纤组成高速链路，承担数据中心骨干网络的数据交换，满足大规模AI集群的互连需求。
Scale-Out并不是简单地增加服务器数量，而是通过服务器与交换机、交换机与交换机之间构建起高带宽、低时延的通信网络，使成百上千甚至数万张GPU能够高效协同工作。随着AI集群规模不断扩大，高速互连也逐渐从节点内部延伸至整个数据中心网络，成为支撑大规模算力扩展的重要基础设施。
Part.4
AI 数据中心的发展，不仅推动了Scale-Up与Scale-Out架构不断演进，也对高速互连产品提出了更加多元化的需求。从服务器内部的高速数据交换，到节点间、网络间的大规模互连，不同场景需要匹配不同类型的高速互连方案，而单一产品已难以满足完整的 AI 基础设施建设需求。
围绕AI数据中心高速互连应用，兆龙互连持续完善产品布局，已形成覆盖高速内部连接、高速铜互连及高速光互连的产品矩阵，为不同层级的互连需求提供完整的解决方案。
其中，在高速内部连接领域，兆龙拥有MCIO、PCIe Cable、SlimSAS、Gen-Z等系列产品，可满足服务器内部CPU、GPU、NIC及高速存储之间的高速互连需求。
在高速铜互连领域，提供DAC、AEC、ACC等产品，为不同距离的电连接场景提供高性能解决方案；在高速光互连领域，布局AOC及高速光模块产品，满足更高带宽、更长距离的数据传输需求。
依托完整的高速互连产品体系，兆龙互连能够为AI数据中心提供覆盖服务器内部互连、节点间互连及网络互连的全场景支持，帮助客户根据不同架构、不同部署距离及不同性能需求，灵活选择适合的高速互连方案，为AI算力持续升级提供稳定、高效的连接保障。
VIP复盘网
