扫码体验VIP
网站公告:为了给家人们提供更好的用户体验和服务,股票复盘网V3.0正式上线,新版侧重股市情报和股票资讯,而旧版的复盘工具(连板梯队、热点解读、市场情绪、主线题材、复盘啦、龙虎榜、人气榜等功能)将全部移至VIP复盘网,VIP复盘网是目前市面上最专业的每日涨停复盘工具龙头复盘神器股票复盘工具复盘啦官网复盘盒子股票复盘软件复盘宝,持续上新功能,目前已经上新至V6.5.7版本,请家人们移步至VIP复盘网 / vip.fupanwang.com

扫码VIP小程序
返回 当前位置: 首页 热点财经 Kimi K3杀疯了:前端竞技场第一碾压Fable 5,48小时自主造芯片,从零写出GPU编译器

股市情报:上述文章报告出品方/作者:量子位;仅供参考,投资者应独立决策并承担投资风险。

Kimi K3杀疯了:前端竞技场第一碾压Fable 5,48小时自主造芯片,从零写出GPU编译器

时间:2026-07-17 13:17
上述文章报告出品方/作者:量子位;仅供参考,投资者应独立决策并承担投资风险。


Kimi K3
,综合能力直接飞跃进第一梯队!

API价格暴涨3.7倍,也进入第一梯队……

同样100万输出token,Kimi K3是DeepSeek-V4 Pro高峰期价格的8倍。

当然对比Claude Fable还是便宜的,输出价格是Fable的30%。

那么,Kimi K3作为全球第一个开源的3T级别大模型,值不值?

前端碾压,竞技场七项六冠

讨论度最高,也最直观的是前端能力。

Frontend Code Arena排名第一,大幅领先Fable 5。

在七个细分领域中,K3拿下了品牌营销、参考图设计、数据分析、消费产品、模拟和内容创作工具六项第一,仅在游戏类排名第二。

有人用Agent集群模式复刻MacOS 27界面,花了约6个小时完成。

得到的不仅是一个界面,而是除了浏览器和电话等其他功能都能用的网页版操作系统

设计机械手模拟器与Fable 5对比,画面更精美,功能也更全

可以基于Three.js和Web GPU计算构建一个完全程序化的基于浏览器的3D游戏

发布公告称Kimi K3实现了vision in the loop工作流,与一次性输出代码的传统模式有本质区别。

模型在生成代码后可以直接查看实时运行截图,识别其中的布局、色彩和层级问题,再修改代码、再截图,如此反复迭代。

K3的100万token上下文窗口在前端工程中也有实际价值,可以一次性纳入大量组件文件、类型定义、设计规范和项目文档,配合其长程agent能力处理大型前端仓库的维护和跨文件功能开发。

不过也有人反馈K3前端生成速度较慢,一个复杂任务耗时20分钟到一个小时,比Fable5要慢,但更省钱。

48小时自主设计芯片,从零写出GPU编译器

编程也是K3最拿得出手的能力之一。

在DeepSWE上拿到67.5分(Fable 5为70.0,Sol为73.0),Program Bench上77.8分略超Fable 5的76.8,SWE Marathon上42.0分则是所有模型中的最高分。

图像

在GPU kernel优化任务中,团队给每个模型一个相同的沙盒环境和最多24小时的时间,让它们独立完成AttnRes、KDA和512头维度MLA kernel在NVIDIA H200上的性能优化。

K3在AttnRes任务中设计了一种新的两阶段kernel算法,将前向 反向时间从283.6ms压缩到114.4ms,达到了与Fable 5相当的水平,且每轮迭代的优化速度更快

在MLA-512 kernel从零编写任务中,K3的kernel在前向 反向上达到517.8 TFLOPS,超过了H200理论BF16峰值的一半,领先第二名的492.7 TFLOPS

更夸张的是,K3从零构建了一个名为MiniTriton的GPU编译器,包含自己的tile级IR层、优化pass和PTX代码生成管线,在roofline基准测试中性能持平甚至超越Triton和torch.compile,并能支撑完整的nanoGPT训练收敛

在芯片设计测试中,K3在48小时的自主运行中,用开源EDA工具在Nangate 45nm工艺库上完成了一颗芯片的设计、优化和验证。

4平方毫米内塞进了146万标准单元和0.277MB SRAM,100MHz频率下解码吞吐超过8700 tokens/s。团队称这是“由模型设计的芯片,为模型服务的芯片”

在K3开发的后期阶段,团队大部分kernel优化工作已经交由K3的早期版本来完成。

两项核心创新撑起2.8T规模

Kimi K3的架构基于两项自研技术:

Kimi Delta Attention(KDA),超长序列上的注意力计算提供高效基础。

Attention Residuals(AttnRes),让模型在深度方向上选择性地检索表征,而不是逐层均匀累积

在稀疏激活方面,K3使用了Stable LatentMoE框架,总共896个专家中仅激活16个。

为了在如此极端的稀疏度下保持训练稳定,团队引入了Quantile Balancing来替代启发式的专家均衡策略,用Per-Head Muon让注意力头独立优化,再加上Sigmoid Tanh Unit(SiTU)和Gated MLA分别改善激活控制和注意力选择性。

这些技术加在一起,让K3相较于上一代K2实现了约2.5倍的整体scaling效率提升。

训练侧,K3从SFT阶段开始就采用量化感知训练,使用MXFP4权重配合MXFP8激活,以兼容更广泛的硬件。

推理侧,团队为KDA实现了前缀缓存方案并贡献给了vLLM社区,使得K3在编程负载下缓存命中率超过90%。

团队同时列出了三项已知局限:

K3在”保留思考历史”模式下训练,如果agent框架未能正确回传历史思考内容,或在其他模型的会话中途切换到K3,生成质量可能会高度不稳定;

K3的训练特别强调长周期高难度任务,遇到小问题或模糊意图时可能擅自做出超出预期的决定;

尽管整体表现极具竞争力,K3在用户体验层面与Claude Fable 5和GPT 5.6 Sol仍有明显差距。

过去12个月中有9个月,Kimi模型都保持着开源模型的参数规模上限。

现在这个天花板被顶到了2.8万亿

股票复盘网
当前版本:V3.0