我本以为源神格局已经定了, 没想到还有下半场. 百度刚发了 ERNIE-5.5-Flash-Base, 我一开始以为就是例行的文心更新, 结果看了一下 HuggingFace 上的模型卡和 config.json, 发现事情有点意思了哦

我看完了模型卡结论就是, 这个模型是完全面向「1M 超长上下文 + 后训练/Agent 反复采样的极致效率」去从头设计的. 参数量 280B-A14B, 总计用了 33.5T token 从零预训练.

最猛的是现在放出来的是基模 (刚结束预训练还完全没做过 mid-training 和大规模后训练的 Base 权重模型), 然后就在统一管线的 30 项权威 benchmark 里直接拿下了几个基模测试中 24 个项目第一.

比如基模我最关注测 MMLU-Pro (测模型知识理解与复杂推理能力的) 直接跑到了 78.4 (比 V4-Flash 高了 9.2), 长文代码检索 RepoQA 更是干到了 91.7.

给大家讲一下这个基模最亮眼的几个技术细节:

- 注意力用了「37 层 HCA(上了 128 倍重度压缩) + 6 层 MLA-DSA(逐 token 动态稀疏)」的 6:1 混搭, 加上低秩门控(用来省掉 75% 门控参数)和 VHA 虚拟头混合

- MoE 用了「Multi-Router 多路由器协同打分 + 2048 维半宽潜空间 Latent MoE」(512 专家选 10)

- 用「ECHO 自递归」直接复用主干最后一层, 砍掉了外挂的 MTP 模块

看不懂没关系, 给大家讲讲这几个细节都是干啥的:

- 其中 ECHO 自递归是我最感兴趣的. 传统 MTP 做多 token 预测是挂一个几 B 参数的专用模块来猜后面的词, ERNIE 直接让主干最后一层自己兼职预测, 额外参数只有约 0.36B, 几乎不多占显存. 而且论文里还配了"动态深度采样", 训练时按概率决定这一步往后猜几层, 往后猜 3 个 token 的 MTP 训练开销只相当于 1.5 步; 论文实验里甚至把深度开到了 7. (注意: 这次开源的 ERNIE 5.5 Flash 预训练用的是单步 ECHO)

- 而「37 层 HCA + 6 层 MLA」是啥意思呢? 就像读一本上百万字的小说, 之前的做法 (比如 DSv4Flash 的 CSA) 是把每一页都缩印成模糊的 4 合 1 小字, 然后抠细节的时候就看不清原字了, 而 ERNIE 的策略是: 大部分层只记每一章的梗概 (37 层 HCA, 128 个 token 压成 1 条, 很省显存), 把省下来的显存全给 6 层"带放大镜"的层 (MLA-DSA), 它们保留逐 token 的原文, 每次先快速扫一遍挑出最相关的 2048 个 token 再精读. 官方实测在显存预算相当的情况下, 这样比 DSv4Flash 那种"每页都 4 合 1"的方案效果更好.

- 最后「Multi-Router」理解就简单了, 传统做法就是专家路由是个一言堂, 这个改成了几个不同偏好的评委打分, 能降低中深层选错专家的概率.

除了上面这些, 这个基模完全是瞄准开源去打的, 因为它的架构相对而言更容易被后训练:

一方面目前放出来的基模是完全没被 SFT/RL 锁死的纯净预训练终点, 往上做垂直领域微调或大规模强化学习的天花板会很高.

另一方面, 对比存算分离的 DSv4.1Flash 或者 Qwen3.8FlashNext (这俩都外挂了上百 GB 的查表记忆，还要放主机内存异步预取，训练框架得专门适配，小团队上手成本很高), ERNIE 依然保持了纯 GPU 显存内运行的标准自回归主干, 微调相对来说可以沿用现有架构, 适配成本相对低, 方便起锅烧火就能炼.

所以大胆预测一波, 是不是马上又要进入一个新的基模周期了? 各个大厂基模百花齐放, 有的卷存算分离极限低激活, 有的卷主干内聚和预训练上限, 每个架构都有自己的甜点区, 反过来把下游后训练和 Agent 生态彻底喂饱.

而且话又说回来, 百度这次连基模都这么卷了, 说明预训练确实有点东西, 正式版的文心 5.5 Flash 估计已经在路上了, 等放出来后是骡子是马拉出来给大家测测! 老铁们更看好哪家的架构路线?

#HOW I AI##百度##文心##文心大模型##文心5.5##百度世界2026#