凭借GPU支撑第一波AI浪潮大获成功，英伟达不仅登顶全球芯片企业，更一举成为全球市值最高公司。但如今AI产业迈入发展第二阶段，以静态随机存取存储器（SRAM）为核心的全新芯片架构走到行业台前。这一趋势对英伟达是重大利好——该企业早已收购SRAM芯片厂商；同时也惠及一众行业新锐，包括d-Matrix、Cerebras，以及主打SRAM算力云的Gimlet Labs。

GPU擅长海量数据吞吐，但存储已计算模型参数，是当前AI推理任务最核心的性能瓶颈。行业所说的“GPU内存墙”正是这道桎梏：AI推理系统能缓存、快速调取的历史键值（KV）存在硬性上限。KV缓存容量越小，用户使用体验越差，要么上下文窗口受限、要么回复延迟拉长、要么同时在线服务人数大幅缩减。

想要解决KV缓存难题，最粗暴的思路就是在硬件里堆砌尽可能多的高速内存，只是要兼顾物理空间与成本预算。英伟达、AMD GPU搭载的高带宽内存（HBM）虽能为芯片运算提供大容量缓存，但HBM属于片外存储，内存带宽存在天然上限。而SRAM是目前速度最快的存储介质，直接集成在芯片内部：单条SRAM带宽可达100–150TB/s，对比之下，单堆栈HBM3带宽仅1.2TB/s，HBM4也仅有2TB/s。

SRAM读写性能顶尖，但造价高昂，过去仅用于芯片寄存器、一级/二级/三级内置缓存。与之相对，动态随机存取存储器（DRAM）速度更慢、成本更低，长期是设备主内存的标准选择

但AI算力需求不断突破硬件极限，这一格局正在改写，芯片厂商开始设计以SRAM作为主存储的全新架构。Groq便是先行者之一。英伟达去年12月以200亿美元完成对Groq的收购，这家企业自研的语言处理单元（LPU），将向量、矩阵计算单元与大容量SRAM深度集成在同一块芯片上。英伟达快速完成技术落地，并在今年3月的GTC大会推出搭载Groq 3 LPU的整机机架。

不过Groq LPU并非唯一SRAM技术路线。d-Matrix同样以数字存内计算（DCIM） 为芯片核心架构，内置海量SRAM。这家总部位于加州圣克拉拉的企业，自研的Corsair加速器采用3D堆叠芯粒方案，单卡集成256MB SRAM，通过PCIe 5.0接口即可输出150TB/s的内存带宽。

昨日d-Matrix正式宣布，Corsair加速器已全面量产，批量向核心客户交付产品。单块Corsair加速卡8比特稠密算力最高达2400TFLOPS，整机功耗仅600瓦，可直接部署在标准风冷服务器机架内；由台积电、芯擎科技联合代工，采用台积电N6工艺制程。

d-Matrix创始人兼CEO西德·谢斯表示：“我们专为AI推理时代打造Corsair。当下核心应用——智能体AI、实时代码生成、交互式语音机器人，性能完全取决于延迟表现。Corsair补齐了GPU的短板，今年夏季，客户就能在整机机架规模下，体验这套方案带来的算力提速。”

另一家深耕SRAM架构的厂商是Cerebras Systems。d-Matrix Corsair走轻量化芯粒路线，可灵活适配小、大各类部署场景；Cerebras则另辟蹊径，推出巨型晶圆级芯片晶圆级引擎（WSE）。

Cerebras于2024年3月发布第三代晶圆级引擎WSE-3，堪称巨型算力芯片：单颗芯片集成4万亿晶体管，搭载44GB片上SRAM与近百万颗AI计算核心，整片硅片尺寸堪比餐盘。设备最高可外接1PB外部存储，能够训练参数规模高达24万亿甚至更大的全球顶尖大模型。

四周前Cerebras正式登陆纳斯达克，股票代码CBRS。本次IPO发行价185美元，合计募资55.5亿美元，暂列今年全球规模最大IPO；企业当前估值560亿美元，成为SRAM芯片新兴赛道的标杆企业。

还有一家值得重点关注的SRAM赛道企业——斯坦福孵化的应用型AI初创公司Gimlet Labs。该企业打造自研“多硅片推理云”，通过在算力任务与底层硬件之间搭建抽象调度层，让AI客户无需关心底层硬件差异。

斯坦福兼职教授、Gimlet联合创始人兼CEO扎因·阿斯加尔，同时看好传统GPU与新型SRAM加速器两条路线。他在3月发布的博客《SRAM核心芯片在AI推理中的新兴价值》中写道：“我们自研的软件调度系统，会把推理任务分配至最优硬件。长期落地实践，让我们清晰看清各类架构的适用边界。各大顶尖实验室愈发重视推理速度与吞吐性能，SRAM架构加速器有望抢占可观的市场份额。”

Gimlet近期完成8000万美元A轮融资，其算力云同时搭载SRAM加速器与英伟达GPU等传统芯片。AI推理分为预填充、解码两大阶段，两者对处理器、内存集群的需求天差地别，如何为不同任务匹配适配硬件，一直是行业长期难题。阿斯加尔解释，解码阶段属于自回归生成逻辑，极度依赖高内存吞吐，对算力密度要求不高，恰好适配SRAM这类近计算存储架构。

“这为近计算存储芯片（当下主流即SRAM架构）创造了绝佳发展机遇，这类硬件在解码环节性能碾压传统方案。”他表示，“整个行业正迈入芯片设计的全新黄金时代，当下推理任务的独特需求，推动硬件架构朝着多元方向同步演进。我们十分期待，在这些需求约束下诞生更多全新芯片产品，并投入实际商用。