[LG]《Towards a Statistical Understanding of Mixture-of-Experts》S He, B Yang, J Hu, Z Gao… [Tsinghua University] (2026)

在混合专家领域，路由与共享机制的统计原理是一个悬而未决的难题。过去的方法受困于经典参数模型，本质原因是脱离了非凸优化与局部异质性的实际约束。

本文的核心洞见是：把MoE重新看作输入驱动的局部聚合。由此，以共享专家抽取全局共性、路由专家专攻局部残差这一关键操作使问题得以解开。

这项工作真正留下的遗产是非渐近MoE预言机风险理论。它为后来者打开的新门是几何感知与动态激活设计，但尚未跨过的门槛是端到端梯度协同动力学的解析。

arxiv.org/abs/2609.03501 #机器学习# #人工智能# #论文# #AI创造营#