财经网
26-07-22 10:23 微博认证:财经网官方微博

【#月之暗面辟谣K3是蒸馏小模型#】7月17日凌晨,2.8万亿参数的K3横空出世,以1679分登顶Frontend Code Arena榜单,首次有开源模型在Frontend Code Arena前端编程榜单超越一众闭源模型登顶。

特斯拉CEO(首席执行官)埃隆·马斯克在相关评测下留言:“Impressive(令人印象深刻)。”这是马斯克继今年3月点赞Kimi底层架构技术报告后第二次公开认可这支中国团队,并在其预告新模型Grok 4.6时,甚至将Kimi K3作为对比目标。

而赞誉的另一面是风暴。发布48小时后,Kimi发文表示用户请求量已大幅超出其预估,并且逼近现有集群的承载极限,Kimi宣布暂停C端新用户订阅,有业内观点将此次事件类比为“DeepSeek 2.0时刻”。

针对外界流传的“K3是蒸馏小模型”的猜测,7月21日上午,月之暗面公司企业业务负责人黄震昕在接受媒体记者采访时直接否认。黄震昕表示,K3性能跃升的核心来自底层原创架构创新,并非对现有模型蒸馏复刻。

此前发布时,Kimi也提到架构层面变化带来的效率提升。据介绍,Kimi K3基于Kimi Delta Attention(KDA)混合线性注意力机制和Attention Residuals(AttnRes)注意力残差技术构建。MoE(混合专家)层面,模型在896个专家中激活16个。而上述结构性改进让Kimi K3 相比K2的整体扩展效率提升约2.5倍。(每经)