@月之暗面Kimi 又把开源模型的尺寸纪录往上推了一大截。
7 月 17 日,月之暗面正式发布 Kimi K3,总参数达到了 2.8 万亿,原生支持视觉理解和 100 万 Token 上下文,也是首个接近 3 万亿参数的开放权重模型。
更是 Kimi 迄今能力最强的模型。
相比总参数 1 万亿的 Kimi K2,K3 的规模接近翻了两倍。不过,这 2.8 万亿参数并不会在每次推理时全部工作。K3 采用更稀疏的 MoE 架构,共有 896 个专家,每次激活其中 16 个。【P1】
月之暗面还引入了KDA 混合线性注意力机制(Kimi Delta Attention)和注意力残差(Attention Residuals两项架构改进,宣称整体扩展效率较 K2 提升约 2.5 倍。
而 K3 的重点是长时间写代码、调用工具和完成复杂的知识工作。
官方展示中,它可以独立优化 GPU 算子、开发编译器、制作 3D 游戏,甚至连续运行 48 小时完成一颗小型芯片的设计与验证,在一定程度上说明了 K3 的长程 Agent 能力。【P2】
放到普通用户更熟悉的场景里,则是研究报告、PPT、表格、视频编辑,以及由多个子 Agent 协同完成的长期任务。
成绩确实很强。在月之暗面公布的测试中,K3 在不少编程和 Agent 基准上超过 GPT-5.5、Claude Opus 4.8,部分项目接近更强的 Claude Fable 5 和 GPT-5.6 Sol。
不过月之暗面自己承认,K3 的综合表现和实际体验仍落后于最顶尖的闭源模型 Claude Fable 5 和 GPT-5.6 Sol,但在整套评测中展现出的能力,已经稳定超过了其他所有模型。【P3】
K3 最值得关注的地方,是中国开源模型正在用更快的迭代,把顶尖模型从少数公司的围墙里一点点搬出来。
最后还要补充一点:K3 目前已经登陆 Kimi、Kimi Work、Kimi Code 和 API,但完整权重预计到 7 月 27 日才会发布。严格来说,它现在是完成了模型和产品发布,开源还差最后一步。
#Kimi##大模型##开源模型##KimiK3##Kimi K3参数达2.8万亿#
