腾讯刚刚开源了混元4大模型预览版，挺惊艳的，能力基本达到了Ki­mi K3和GLM-5.3的水平。模型架构方面，基本沿用了De­e­p­S­e­ek的DSA稀疏注意力和智谱的In­d­e­x­C­a­c­he索引跨层复用，参数规模也和GLM 5代接近，感觉是刚从智谱挖过来的白雨石主导的。
有意思的是，混元4的残差连接引用了一篇知乎文章，指出De­e­p­S­e­ek mHC流型超连接的双随机矩阵太复杂，改成最简单的单位矩阵iHC反而效果更好，写这个的研究员刚从微软跳槽到阿里千问，但智谱最新的GLM-5.3用的还是mHC，估计是没人刷知乎～
由此窥见，技术交流和人才流动是非常密集的。