Kimi K3,综合能力直接飞跃进第一梯队!

API价格暴涨3.7倍,也进入第一梯队……
同样100万输出token,Kimi K3是DeepSeek-V4 Pro高峰期价格的8倍。

当然对比Claude Fable还是便宜的,输出价格是Fable的30%。

那么,Kimi K3作为全球第一个开源的3T级别大模型,值不值?
前端碾压,竞技场七项六冠
讨论度最高,也最直观的是前端能力。
在Frontend Code Arena排名第一,大幅领先Fable 5。

在七个细分领域中,K3拿下了品牌营销、参考图设计、数据分析、消费产品、模拟和内容创作工具六项第一,仅在游戏类排名第二。
有人用Agent集群模式复刻MacOS 27界面,花了约6个小时完成。
得到的不仅是一个界面,而是除了浏览器和电话等其他功能都能用的网页版操作系统
设计机械手模拟器与Fable 5对比,画面更精美,功能也更全
可以基于Three.js和Web GPU计算构建一个完全程序化的基于浏览器的3D游戏
发布公告称Kimi K3实现了vision in the loop工作流,与一次性输出代码的传统模式有本质区别。
模型在生成代码后可以直接查看实时运行截图,识别其中的布局、色彩和层级问题,再修改代码、再截图,如此反复迭代。
K3的100万token上下文窗口在前端工程中也有实际价值,可以一次性纳入大量组件文件、类型定义、设计规范和项目文档,配合其长程agent能力处理大型前端仓库的维护和跨文件功能开发。
不过也有人反馈K3前端生成速度较慢,一个复杂任务耗时20分钟到一个小时,比Fable5要慢,但更省钱。
48小时自主设计芯片,从零写出GPU编译器
编程也是K3最拿得出手的能力之一。
在DeepSWE上拿到67.5分(Fable 5为70.0,Sol为73.0),Program Bench上77.8分略超Fable 5的76.8,SWE Marathon上42.0分则是所有模型中的最高分。

在GPU kernel优化任务中,团队给每个模型一个相同的沙盒环境和最多24小时的时间,让它们独立完成AttnRes、KDA和512头维度MLA kernel在NVIDIA H200上的性能优化。
K3在AttnRes任务中设计了一种新的两阶段kernel算法,将前向 反向时间从283.6ms压缩到114.4ms,达到了与Fable 5相当的水平,且每轮迭代的优化速度更快
在MLA-512 kernel从零编写任务中,K3的kernel在前向 反向上达到517.8 TFLOPS,超过了H200理论BF16峰值的一半,领先第二名的492.7 TFLOPS
更夸张的是,K3从零构建了一个名为MiniTriton的GPU编译器,包含自己的tile级IR层、优化pass和PTX代码生成管线,在roofline基准测试中性能持平甚至超越Triton和torch.compile,并能支撑完整的nanoGPT训练收敛
在芯片设计测试中,K3在48小时的自主运行中,用开源EDA工具在Nangate 45nm工艺库上完成了一颗芯片的设计、优化和验证。
4平方毫米内塞进了146万标准单元和0.277MB SRAM,100MHz频率下解码吞吐超过8700 tokens/s。团队称这是“由模型设计的芯片,为模型服务的芯片”
在K3开发的后期阶段,团队大部分kernel优化工作已经交由K3的早期版本来完成。
两项核心创新撑起2.8T规模
Kimi K3的架构基于两项自研技术:
Kimi Delta Attention(KDA),超长序列上的注意力计算提供高效基础。
Attention Residuals(AttnRes),让模型在深度方向上选择性地检索表征,而不是逐层均匀累积
在稀疏激活方面,K3使用了Stable LatentMoE框架,总共896个专家中仅激活16个。
为了在如此极端的稀疏度下保持训练稳定,团队引入了Quantile Balancing来替代启发式的专家均衡策略,用Per-Head Muon让注意力头独立优化,再加上Sigmoid Tanh Unit(SiTU)和Gated MLA分别改善激活控制和注意力选择性。
这些技术加在一起,让K3相较于上一代K2实现了约2.5倍的整体scaling效率提升。
训练侧,K3从SFT阶段开始就采用量化感知训练,使用MXFP4权重配合MXFP8激活,以兼容更广泛的硬件。
推理侧,团队为KDA实现了前缀缓存方案并贡献给了vLLM社区,使得K3在编程负载下缓存命中率超过90%。
团队同时列出了三项已知局限:
K3在”保留思考历史”模式下训练,如果agent框架未能正确回传历史思考内容,或在其他模型的会话中途切换到K3,生成质量可能会高度不稳定;
K3的训练特别强调长周期高难度任务,遇到小问题或模糊意图时可能擅自做出超出预期的决定;
尽管整体表现极具竞争力,K3在用户体验层面与Claude Fable 5和GPT 5.6 Sol仍有明显差距。
过去12个月中有9个月,Kimi模型都保持着开源模型的参数规模上限。
现在这个天花板被顶到了2.8万亿


VIP复盘网