2.8万亿参数,Kimi K3凌晨发布,正面硬刚Claude和GPT

关注
896个专家只激活16个,2.8万亿参数如何落地

图片

作者丨林夕

编辑丨小龙

2026年7月17日凌晨,中国AI史册上一个无法忽视的分水岭时刻。

月之暗面正式发布了新一代旗舰模型——Kimi K3。这是总参数量达2.8万亿、上下文窗口达100万token的混合专家(MoE)大模型,更是全球首个面向开源社区开放的3万亿参数级别超级大模型。

图片

在官方公布的测试结果中,Kimi K3以强悍的综合智能水平直逼国际两座大山,位列全球第三,仅排在Claude Fable 5和GPT-5.6 Sol之后。但在编程、Agent和视觉理解等多个核心细分赛道上,Kimi K3已与这两款顶级闭源模型互有胜负,甚至在部分前沿基准中实现了强力反超。

img

国产大模型第一次在代表AI最高水平的“万亿俱乐部”中,拥有了能与世界顶峰正面拼刺刀的选手。

图片

896个专家只激活16个

2.8万亿参数如何落地

Kimi K3延续了月之暗面一贯的大参数路线。从K2的1万亿参数到K3的2.8万亿,月之暗面在不到一年时间里将模型规模推高了近两倍。但参数规模的扩张并非简单地堆砌数字。

K3在架构层面引入了两项关键更新:Kimi Delta Attention(KDA)和Attention Residuals(AttnRes),分别解决长序列计算成本和深层网络信息衰减的问题。

KDA的核心逻辑是改变传统注意力机制的处理方式。

在100万token的上下文窗口下,传统Attention的计算量呈平方级增长,每个token都要与其他所有token进行交互,这在数学上意味着极高的显存占用和推理延迟。

图片

KDA的做法是将长上下文拆解为“已总结的历史”和“新来的变化”(Delta),对历史部分用线性方式维护一个紧凑的记忆状态,新token只重点关注变化部分。

官方数据显示,在百万token上下文场景下,KDA将解码速度最高提升了6.3倍。

Attention Residuals则针对模型深度问题。

当模型层数增加到一定程度,信息从底层传递到顶层的过程中会逐渐衰减,导致训练效率下降。

AttnRes在注意力机制上增加了专门的残差连接,让每一层的注意力输出可以更直接地“跳过”中间层,保留更原始的信息。

img

月之暗面称这一改进将训练效率提升了约25%,而额外成本不到2%。

在MoE架构上,K3设置了896个专家,每个token实际只激活其中16个,保持了极高的稀疏度。

图片

配合Stable LatentMoE框架、Quantile Balancing和Per-Head Muon等训练方法的优化,K3的整体扩展效率相比K2提升了约2.5倍。

模型从监督微调阶段就进行量化感知训练,采用MXFP4权重和MXFP8激活,以提高在不同硬件平台上的部署兼容性。

不过,2.8万亿参数对本地部署提出了极高要求。月之暗面建议至少采用包含64个加速器的超级节点来部署K3。

虽然官方承诺在7月27日前开放完整模型权重,但普通开发者很难在消费级设备或常规单机服务器上完整运行未经大幅量化的版本。

从某种意义上说,这更像是一个面向云端的“可访问开源”,而非真正的本地可运行开源。

图片

编程能力全线逼近Claude

视觉闭环开辟新战场

编程是Kimi K3最核心的能力方向。

月之暗面明确表示,K3是公司迄今为止编程能力最强的模型,可以在长时间软件工程任务中持续推进工作,理解大型代码库,操作终端,协调工具调用,检查运行时行为,并在尝试失败后以较少的人类干预自主恢复。

从官方公布的测试数据来看,K3在多个编程基准上的表现已经进入全球第一梯队:

  • 在Program Bench上,K3获得77.8分,略高于Claude Fable 5的76.8分和GPT-5.6 Sol的77.6分;

  • 在考察长期软件工程能力的SWE Marathon中,K3拿下42.0分,超过Fable 5的35.0分和GPT-5.6 Sol的39.0分;

  • 在Terminal Bench 2.1测试中,K3得分88.3,与GPT-5.6 Sol的88.8分几乎持平。

值得注意的是,不同类型的编程测试反映的是模型不同的能力维度。

像DeepSWE和Terminal Bench这类“精准执行型”测试,考察的是模型能否精确完成明确任务、定位问题、精准修改且不引入新bug。

而FrontierSWE这类“方案规划型”测试,则侧重创造性思考和深度理解复杂系统的能力。

K3在FrontierSWE上获得81.2分,虽然低于Fable 5的86.6分,但已超过GPT-5.6 Sol的71.3分,说明它在需要创新性解决的难题上找到了自己的位置。

图片

在实际案例中,月之暗面展示了K3从零开发一个名为MiniTriton的GPU编程系统,包含自己的领域特定语言、基于MLIR的中间表示、优化流程和PTX代码生成管线。

img

在部分测试负载上,MiniTriton的运行性能达到或超过官方Triton与torch.compile,并能完成nanoGPT的端到端训练。

更值得注意的是,在K3开发后期,一个早期版本的模型已经承担了团队大部分GPU内核优化工作,这标志着模型能力已经开始反哺自身的研发流程。

多模态视觉能力是K3的另一大亮点。与以往将视觉能力作为独立模块附加到语言模型上的做法不同,K3原生支持文本、图像和视频。

在游戏与前端开发场景中,模型可以读取运行截图,根据画面继续修改代码,形成“视觉进入编程循环”的工作方式。

官方展示的一个案例中,K3在结合软件工程、视觉理解和空间推理的任务上表现尤为突出——它可以在源代码和渲染结果之间来回切换,结合截图、日志、测试结果和运行状态判断下一步修改方向。

这种能力让K3尤其适合游戏开发、前端工程、CAD工作流和基础设施优化等场景。在实际测试中,K3完成了从零开发一个包含完整光影和交互机制的3D小游戏的任务,整个过程包含视觉反馈驱动的多轮迭代。

  • 在视觉基准测试中,K3的OmniDocBench得分91.1,高于Claude Fable 5和GPT-5.6 Sol;

  • MMMU-Pro得分81.6,接近Fable 5的81.2;

  • 加入Python工具后,MathVision得分达到97.8,与GPT-5.6 Sol持平。

K3的发布预告视频也由模型自己从56段源素材中完成剪辑,包括镜头切换、节奏匹配和音频处理,展示了多模态能力从静态理解向动态创作延伸的可能性。

图片

API定价对标Sonnet

月之暗面借K3冲击高端商业化

Kimi K3的发布伴随着明确的商业化信号。

API定价方面,缓存命中的输入价格为每百万token 0.30美元,未命中缓存的输入价格为每百万token 3美元,输出价格为每百万token 15美元。按人民币计算,输入约20元、输出约100元每百万token,远高于GLM-5.2的输入8元、输出28元的定价水平。

img

这一价格定位说明K3不再走低价换市场的路线,而是以更高推理强度、更长任务执行时间和更完整交付物为卖点,直接切入高端模型市场。

img

月之暗面称,依靠Mooncake分离式推理架构,Kimi官方API在编程任务中的缓存命中率超过90%。按此口径,长代码仓库和重复上下文任务的实际输入成本可能明显低于标价,但输出价格较此前模型的大幅提高也反映出推理成本的现实压力。

商业化数据支撑了这一高端化策略:

截至2026年6月中旬,月之暗面ARR(年度经常性收入)突破3亿美元,继3月突破1亿美元、5月突破2亿美元后,保持了快速增长的势头。API收入已占整体七成以上并持续提升。Kimi海外付费用户增长400%,产品进入200多个国家和地区,互联网、金融、制造、教育、医疗等行业正成为重要企业客户来源。年内公司已完成多轮融资,最新投前估值已涨至315亿美元。

图片

大模型信仰

狂风骤雨中的终极火种

在更广泛的市场格局中,K3的发布标志着中国大模型的竞争目标已经从“以较低成本接近闭源模型”转向“在部分复杂任务上直接争夺全球第一梯队”。2025年DeepSeek R1的开源引发了行业震动,2026年GLM-5.2在海外口碑逆转,如今K3又在参数规模和能力维度上拉近了与国际顶级模型的差距。

卡内基梅隆大学教授Ruslan Salakhutdinov在X上发文祝贺杨植麟和Kimi团队,称这是开源社区的一次重大胜利。

当然,挑战也同样清晰。

GPT-5.6 Sol是基于强化学习持续优化的老模型架构,而Fable 5和K3都是全新预训练的新一代模型。GPT-6一旦发布,技术代差可能再次拉开。

很多人怀疑大模型的Scaling-law是否已到尽头,但杨植麟和他的 Kimi 团队,对此有着近乎神圣的执念与信仰。

在杨植麟的底层逻辑里,大模型从来不是可以随意雕花、短期套现的商业工具,而是一座“绵延而未知的雪山”,是一场关于AGI(通用人工智能)的终极豪赌。

月之暗面选择将噪音屏蔽,用一个又一个直插云霄的参数规模、一次又一次刷新上限的技术突破,给出了最硬核、最纯粹的回应。

本文为创业邦原创,未经授权不得转载,否则创业邦将保留向其追究法律责任的权利。如需转载或有任何疑问,请联系editor@cyzone.cn。

反馈
联系我们
推荐订阅