观点｜姚顺宇：Scaling Law 没有到头，大多数「撞墙」是因为有 bug

在昨天发布的最新一期《张小珺商业访谈录》中，Google DeepMind 研究员姚顺宇表示，预训练的 Scaling Law 并没有到头。在被问及模型进步速度是否放缓时，他的回答是「完全没有」。

他解释称，用 Benchmark 分数涨幅来判断进展快慢，本身就是一个误导性框架 —— 任何 Benchmark 都有上限，越接近满分，数字增长自然越慢。

🔍 模型「学东西」的能力在持续增强，研究者如今更多的精力是在「把问题定义清楚、构建合适的数据」，其余的事情「好像很多时候是顺其自然的了」。

对于那些认为 Scaling Law 已触及天花板的观点，他归纳出三种来源：规律本身的适用范围有极限、关键条件（如数据）已耗尽。

他认为大多数「撞墙」，其实是研究工作本身存在 bug，但研究者自己没有发现。「修好一个 bug 带来的进展，远大于一些很神奇的技巧。」

而在谈及今年最大的期待，他用了一个自己常说的口号：

🔍 Train with finite context, use as infinite context.

用有限的上下文训练、却能在推理时支持近乎无限上下文的能力，他预计今年有望实现。一旦落地，这将解锁真正意义上的持续性个人助手 —— 模型在与用户长期交互中动态管理记忆，而不再受限于固定的上下文窗口。