谢小斌
26-07-28 11:26 微博认证:数码博主 数码测评师 汽车测评师 旅行摄影师 头条文章作者

#月之暗面正式开源KimiK3#月之暗面正式放出Kimi K3完整模型权重与技术报告,同时开源MoonEP、FlashKDA、AgentEnv这些支撑模型训练的底层技术。

Kimi K3是首个达到2.8万亿参数规模的开源模型,过去十二个月里,Kimi系列长期守住开源模型规模上限。团队优化MoE稀疏架构,依托Stable LatentMoE框架,能在896个专家里仅激活16个。

搭配全新训练方案与数据优化,相比前代K2,整体扩展效率提升约2.5倍,算力可以更高效转化成模型能力。

能把如此重量级模型全面开源,对国内众多开发者来说,确实是难得的利好。#微博vibelab# http://t.cn/AX9eH8hL

发布于 浙江