DF合芯观
26-07-17 11:01 微博认证:西安建筑科技大学

#Kimi K3参数达2.8万亿#月之暗面正式发布Kimi K3,以2.8万亿总参数刷新全球开源大模型规模上限,并非单纯参数堆砌,而是依托自研架构实现算力能效跨越式迭代。模型搭载KDA混合线性注意力与注意力残差结构,搭配Stable LatentMoE稀疏专家框架,896个专家单元仅动态激活16个参与运算,大幅削减无效算力损耗,相比上代扩展效率提升2.5倍,百万Token超长上下文解码速度提升6.3倍,解决长文本推理算力膨胀痛点。

原生集成视觉多模态能力,聚焦软件工程、长周期智能体、深度科研推理等高阶场景,综合评测稳居全球第三梯队,编程、长时序任务表现突出。模型采用稀疏路由量化训练方案,兼顾超大参数体量与落地部署门槛,同步开放API与开源权重计划。

此次发布标志国内大模型正式迈入3万亿参数开源时代,跳出粗放扩参内卷路线,以架构创新完成规模与能效平衡,为万亿级稀疏大模型训练、端侧轻量化部署提供完整技术范式,夯实国产前沿智算基座实力。http://t.cn/AXKROpX0

发布于 上海