洪师弟
26-07-17 13:35 微博认证:军事博主 本地博主(温州)

7月16日,月之暗面在WAIC前夕扔下这颗“重磅炸弹”。2.8万亿参数什么概念?比DeepSeek V4的1.6万亿高出75%,也超过了文心5.0的2.4万亿。但参数堆砌只是表象,真正的看点在于架构。

K3采用MoE混合专家架构,总共有896个专家,每次推理只激活16个。这就好比一个巨型图书馆,每次只打开最相关的16个书架,既保证了海量知识储备,又控制了推理成本。底层引入自研的KDA混合线性注意力和注意力残差技术,原生支持视觉理解和100万token上下文。官方称整体扩展效率较K2提升约2.5倍,意味着同等算力投入能换来更高的智能产出。

算力层面,训练2.8万亿参数的模型绝非易事。有开发者测算,跑4位精度的K3需要16个节点。但K3的巧妙之处在于激活参数仅约500亿,这让部署变得可行。更值得注意的是,K3开发后期,团队大部分GPU内核优化工作已由模型早期版本自行完成——模型自己优化自己,这件事本身就很有想象力。

行业格局层面,K3的意义可能被低估了。这是开源模型首次真正站上Frontier AI的竞争舞台。过去大家默认“要最强就用闭源,开源总落后一代”,但K3在BrowseComp长程检索拿到91.2分,前端代码竞技场登顶,综合智能逼近Claude Fable 5和GPT-5.6 Sol。分析师原本预测中国要到明年初才能做出Fable级别的模型——K3提前了将近半年。

价格上,K3每百万输出token仅15美元,而Fable 5约50美元。能力接近,价格只有三分之一。这对企业客户意味着什么?选型逻辑可能要变了——不再默认选闭源,而是根据任务、成本、部署方式综合判断。

当然,K3整体表现仍落后于最顶尖的闭源模型。但“中国AI落后美国多久”这个问题的答案,正在从“年”变成“月”。当开源模型开始站上Frontier战场,这场竞赛的玩法,已经不一样了。#KimiK3#http://t.cn/AXKEPMVX

发布于 浙江