高带宽内存 (HBM)在实现生成式人工智能方面发挥了关键作用，它通过克服人工智能加速器组件中的内存瓶颈，显著提升了性能。然而，随着超大规模人工智能集群越来越多地集成数千个 GPU 和 HBM 堆栈，一个新的瓶颈出现了：带宽墙，它限制了系统间的数据传输。

在此背景下，SK海力士及其全球研究团队在《自然·电子学》杂志上发表了一篇论文。 该论文探讨了用于高性能计算和人工智能的共封装光学器件（CPO）的开发，指出了关键的技术挑战，并概述了下一代光互连技术的发展轨迹。

SK 海力士人工智能基础设施团队负责人洪承勋和弗吉尼亚大学（UVA）电气与计算机工程系李奎相教授担任通讯作者，领导了一项与伊利诺伊大学厄巴纳-香槟分校（UIUC）、南洋理工大学（NTU）、麻省理工学院（MIT）和延世大学的研究人员合作的研究。

从更广泛的层面来看，该论文提出了一个全面的技术路线图，阐述了存储器、先进封装和光计算互连（OCI）应如何协同演进以支持下一代人工智能系统。至关重要的是，它还展示了SK海力士如何超越HBM创新，在系统层面帮助定义下一代人工智能基础设施的架构。

超大规模人工智能模型不再在单个芯片或服务器上进行训练，而是运行在由机架和节点组成的大型网络中。在这种架构中，系统整体性能不仅取决于处理器、内存和人工智能加速器之间的连接，还取决于数据在机架之间传输的效率。

实际上，计算吞吐量每两年增长三倍，而互连带宽同期仅增长了1.4倍，这使得带宽瓶颈成为一个日益严峻的挑战。传统的铜基电互连负责将数据传输到芯片封装之外以及机架之间，但随着传输距离的增加，信号损耗和功耗也会迅速上升。因此，它们越来越被视为下一代人工智能数据中心的一个限制因素。

“即使计算芯片的性能越来越强，如果芯片间的数据传输速度跟不上，整体系统性能也无法提升，”李奎相教授说。“用光链路取代存在固有物理限制的铜互连，是实现未来可扩展性的最有希望的途径。”

随着带宽瓶颈日益成为人工智能基础设施的根本制约因素，该论文将CPO定位为克服这一挑战的核心。SK海力士人工智能基础设施团队负责人Seunghoon Hong这样描述这项技术：“CPO将光收发器（TRx）集成到与处理器相同的封装中，使芯片能够使用光而非长距离的电气互连来交换数据。这从根本上改变了数据在人工智能系统中传输的方式，消除了计算扩展的最大障碍之一。”

传统铜互连在短距离传输中仍然是一种经济高效的解决方案。然而，随着传输速度的提高和通信距离的增加，它们需要越来越复杂的补偿电路，从而导致更高的功耗和更大的数据传输延迟。CPO 通过在封装内集成光引擎，最大限度地缩短了高速电信号的传输距离，并使用光链路完成剩余的传输路径。这使得高速通信能够跨越芯片、机架和模块进行扩展，同时保持高带宽密度、卓越的能效和强大的信号完整性，并具有更强的抗电磁干扰能力。

基于此架构，研究人员为下一代人工智能基础设施设定了明确的技术目标，包括每个节点超过 100 Tb/s 的带宽、低于 1 pJ/bit 的能耗以及小于 10 纳秒的芯片间延迟。该论文还提出了一个全面的技术路线图，概述了从基于 2D 和 2.5D 中介层的配置到 3D 异构堆叠的演进过程，以及商业部署必须解决的关键技术挑战。

从长远来看，CPO 的发展有望将光互连扩展到存储器接口。这种以光为中心的架构突破了传统封装的物理限制，利用光子中介层直接连接存储器和处理器，从而最大限度地提高系统数据传输效率。

借助这种架构，多个 AI 加速器可以共享一个大型内存池，从而实现更灵活的系统级数据移动，同时随着模型的不断增长，AI 基础设施能够更高效地扩展。

李教授表示：“光互连技术有望成为未来人工智能基础设施的基础连接技术。这项技术已经走出实验室，进入商业化的早期阶段。尽管仍面临诸多挑战，例如集成低功耗光子器件、开发相干协议以及提高系统可靠性等，但关键在于将存储器件和控制器、光子组件和封装技术协同设计为一个单一的集成系统。而这正是与SK海力士合作意义非凡之处。”

洪补充道：“此次合作意义非凡，因为它汇集了学术界的专业知识和行业经验，共同描绘了人工智能基础设施的未来愿景。我们将继续扩大开放式合作，为我们的客户和更广泛的人工智能生态系统带来切实价值。”

Q1. 请简要介绍一下你们自己，包括你们的主要研究领域？

李教授：我是弗吉尼亚大学（UVA）电子与计算机工程系的教授。我的研究方向是异构集成技术，特别是将超薄光子器件和电子器件集成到单个封装中，用于下一代计算系统。基于这项研究，我主导撰写了本文，全面概述了用于人工智能和高性能计算的光互连和CPO技术。

洪：我的职业生涯始于半导体工程师，之后在存储器行业的多个领域积累了丰富的经验，包括战略和人力资源。目前，我负责人工智能时代存储器行业的长期战略规划。我的工作重点是将存储器视为驱动客户人工智能竞争力的更广泛系统架构的一部分，而非孤立的组件。通过与业内合作伙伴的协作，我致力于从系统层面创造新的价值。

Q2. 您的论文发表在著名科学期刊《自然电子学》上，您有何感想？

李教授：能够与世界领先的半导体公司之一SK海力士共同取得这一里程碑式的成就，意义尤为重大。这篇论文并非仅仅展示单一器件的进步，而是为人工智能基础设施的未来发展描绘了一幅蓝图。看到这项工作在学术界和产业界都引起共鸣，我深感欣慰。我希望它能够帮助更多人关注这项技术的重要性，并衷心感谢所有参与合作的科研人员，是他们的付出成就了这项工作。

洪：我们非常高兴能够与世界各地的顶尖研究人员合作，取得这一里程碑式的成就。这篇论文展现了将学术专长与行业经验相结合的价值，从而为人工智能基础设施的未来描绘出共同的愿景。SK海力士将继续努力，为我们的客户和更广泛的行业生态系统创造切实价值。

Q3. 学术界和产业界的合作如何加强了这项研究？

李教授：我们对如何将一项技术从技术上可行的转化为商业上可部署的成果有了共同的理解。学术界擅长突破性能极限，而产业界则了解大规模部署技术的实际要求，包括生产良率、成本、冷却和供应链等方面的考量。将这两种视角结合起来，使我们能够为人工智能基础设施的未来制定切实可行的路线图。

洪：当学术界对下一代技术的追求与产业界的实际经验相结合时，不仅能提升技术水平，还能增强商业化潜力。此次合作进一步巩固了我们共同的信念，即产学研合作是助力客户成功和推动人工智能生态系统创新发展的关键基础。

Q4：论文认为光连接最终应该扩展到存储器接口。这样做会带来哪些优势？

李教授：将光互连扩展到内存接口可以克服计算芯片的物理限制，消除内存容量和电气连接数量的限制。它还可以让多个人工智能加速器共享一个大型内存池，从而使人工智能基础设施更具适应性，以应对人工智能模型规模的不断增长。

洪：最大的优势在于，它通过提高数据传输效率，使人工智能系统能够更灵活地扩展。最终，这将为客户提供更强大的基础，从而更高效地运营人工智能基础设施。

Q5. 什么因素会使 CPO 成为未来 AI 基础设施的关键技术？你们的研究下一步将走向何方？

李教授： CPO 具有成为未来人工智能基础设施基础标准的潜力，因为它具备四大关键优势：高带宽密度、卓越的能量-距离效率、可扩展的并行连接以及强大的信号完整性和极强的抗电磁干扰能力。我们将继续与行业伙伴合作，探索通过超薄光子材料集成和基于微型LED (µLED) 技术的大规模并行光互连等技术，进一步提升能源效率的途径。

洪：随着客户不断构建更大规模的人工智能系统，光互连的重要性只会与日俱增。存储器公司正在从单纯的组件供应商转型为合作伙伴，通过CPO等技术帮助客户提升整个系统的竞争力。展望未来，我们将继续扩大与客户和生态系统合作伙伴的开放式合作，加速人工智能基础设施领域的创新