【小米MiMo-V3官宣采用全新架构：核心HySparse 2发布，百万Token下KV缓存缩小4.5倍】

9月23日，小米MiMo大模型负责人罗福莉通过社交媒体正式宣布，MiMo-V3将采用全新架构，其核心组件HySparse 2于当日发布。罗福莉表示，新架构的目标是同时实现更少的预填充、更小的KV缓存与更出色的长上下文检索。

关键信息：相比MiMo-V2.6的Hybrid SWA架构，HySparse 2在100万Token上下文长度下，预填充计算量（FLOPs）降低5.02倍，KV缓存缩小4.5倍。同时，长上下文评测MRCRv2与RULER-v2评分更高，AgentPPL与LongPPL指标进一步降低。技术实现上，HySparse 2引入KV Bridging（遵循YOCO思路，交叉解码器全注意力层复用自解码器隐藏状态构建K/V）与KV Reuse（混合块内稀疏层复用前序全注意力层的KV缓存与选择索引），并以Token级选择取代块级选择。

观察：罗福莉将架构重构的动机归结为智能体（Agentic）推理这一“截然不同的工作负载”——多轮交互中，简短动作常返回需预填充的长观察结果，上下文持续增长，预填充成本、KV缓存与检索准确率同时成为关键路径瓶颈。HySparse 2通过两级KV共享机制，尝试在架构层面将预填充计算与缓存占用解耦，为Agent场景下的长上下文推理提供一条可参考的优化路径。

#小米MiMo #MiMoV3 #HySparse2 #罗福莉 #AI大模型 #长上下文