#IFM##MBZUAI##K2Horizon##开源模型##MoVA##Apache20# 【行业动态:IFM发布K2 Horizon六款全开放模型,训练数据与代码一并放出】 MBZUAI旗下的Institute of Foundation Models(IFM)9月3日发布K2 Horizon模型家族,共六款:0.9B、3.7B、7B、32B、36B-A4B与375B-A23B,权重与代码全部以Apache 2.0许可发布。 旗舰款375B-A23B是稀疏MoE架构,存储375B参数、每个token激活23B,上下文窗口512K。官方称其在智能体工具使用、终端操作与长时程工作流基准上,追平或超过体量最大达其2.6倍的开放权重MoE模型,并与闭源前沿模型具备竞争力。36B-A4B则采用了新提出的Mixture of Value Attention(MoVA)架构,把路由机制扩展到注意力的value部分,总容量36B而每token只激活约4B。 开放程度是这次发布的主要卖点。除权重与代码外,IFM同时公开中间检查点、训练配置、细粒度训练日志、评测结果,以及在再分发许可允许范围内的训练数据。