随着AI Agent进入规模化落地阶段,具备高并发、强隔离能力的代码沙箱,已经成为大模型应用不可或缺的核心基础设施。但长期以来,国产算力平台与AI开源软件之间存在显著性能鸿沟,仅做简单编译兼容,难以支撑政企客户的生产级业务需求,制约国产化AI业务落地。
近日,海光信息联合腾讯云开源项目Cube Sandbox完成深度联合适配调优,基于海光C86系列CPU,完成从应用架构、微服务链路到Linux内核调度的全栈软硬协同优化,解决高并发MicroVM沙箱场景下调度抖动、长尾延迟、跨NUMA内存访问延迟三大关键痛点,补齐国产算力在AI智能体沙箱场景的性能短板,为政务、金融、能源行业AI Agent国产化落地提供高性能、硬件级安全的基础设施方案。

▍压测发现:基础编译兼容,远达不到生产可用
Cube Sandbox是腾讯云开源的AI Agent沙箱基础设施,基于RustVMM KVM实现硬件级强隔离,主要服务代码解释、智能体调度场景。在开展联合验证过程中,团队在海光C86平台开展标准化压测,发现仅完成基础编译兼容时,系统暴露出严重性能瓶颈。
深挖根因,性能问题并非单一软件或者硬件问题,而是软硬件多层冲突叠加:防护机制带来额外指令开销、CPU节能退出延迟、多NUMA架构跨节点通信损耗,以及原生内核锁机制与海光CPU硬件拓扑不匹配。实践证明,仅仅完成编译跑通,无法释放国产芯片真实算力,必须开展从上层应用到底层内核的联合调优。

Cube Sandbox 跨平台实测对比
▍海光全栈分层调优:应用重构 内核定制,释放芯片硬件潜能
针对上述痛点,海光团队牵头开展应用层、内核层两层联动优化,不改动上层业务代码,实现一键启用优化能力,充分挖掘海光C86硬件平台的算力潜力。
应用架构层重构优化:将全局粗粒度锁拆分为四层细粒度独立锁,大幅削减锁竞争开销,算力利用率得到十倍级提升;优化沙箱动态探活周期,消除固定休眠逻辑引入的额外延迟;重构gRPC调用链路,合并请求、复用连接,收敛多层链路累积延迟。
内核深度定制适配:结合海光C86多NUMA硬件架构特性,定制NUMA感知自旋锁;调度器优先调度任务复用同一NUMA节点CPU资源,减少跨节点中断、缓存颠簸问题。
两层优化叠加后,系统能力实现质的飞跃:50并发场景P99延迟稳定低于500ms,单沙箱冷启动缩短至83.5ms,无请求超时,系统运行平稳,整体延迟降幅超81%,服务器业务承载能力大幅提升,调优经验可复用到海光新一代高端服务器集群。

P99创建延迟优化路径成果展示
本次海光信息与腾讯云Cube Sandbox联合适配落地,充分印证国产芯片与云原生AI软件软硬协同的巨大价值。AI规模化时代,国产化不能止步于 “能运行”,更要追求 “高性能、高稳定生产级可用”。国产AI落地,软硬协同才是破局关键。
未来,海光信息将持续依托光合组织生态,深化与开源社区、行业伙伴联合技术共建,围绕AI Agent、大模型推理、云原生虚拟化等场景持续输出联合优化方案,为政企关键行业提供安全、高效、低成本的国产化智算底座,共同繁荣国产算力软硬件生态。


VIP复盘网