Ilya 怎么看AGI：5-20年实现；单纯规模化训练在进入同质化阶段，新研究突破才能全面解决泛化问题并且创造新范式

今日Ilya在Dwarkesh Patel Podcast接受采访，表示：

发布的“规模化时代”进入同质化，数据可被充分利用、算力已极大，能力可以继续进步，但并非革命突破。接下来回到“研究时代”：用大算力做更有效的研究与新训练范式。

现有大模型在评测集上很强、在真实世界却“锯齿化”（时灵时不灵），关键症结是“泛化”显著弱于人类。

预训练的优势（自然、海量、无需挑数）与局限（同质化、隐式依赖难以把握）并存；RL 规模化能吃算力，但可能过拟合评测目标、泛化不足。

人类学习效率和稳健性远超模型，或源于更根本的学习原理（不仅是强先验）；Ilya称有想法但暂不公开，且人类神经元可能比想象更“算力充沛”。

评测与泛化现实中常见“评测优秀却在代码修复等任务来回犯低级错误”的怪象，可能因为：RL 让模型在某些方面更“专注”也更“狭隘”；RL 团队受评测驱动设计环境，造成“人类在优化评测、而非模型真正泛化”的奖励黑客。类比“竞赛刷题1万小时的学生”与“只练100小时但有‘灵性’的学生”：当训练目标极窄时，模型学到的是套路而非迁移。

价值函数与情绪：人类决策高度依赖“情绪调制的价值函数”，可及时评估“路径是否值得继续”，支持快速自我纠错。机器应更好地使用“价值函数”（中期奖励/评估），以避免必须等到整条长轨迹结束才有学习信号；Ilya认为深度学习有能力学会这一点。

从“扩规模”到“做研究”：预训练的“配方-可扩展性”曾给行业低风险投资路径；但数据有限、单纯加总已到边际。现在应转向“如何更高效用算力”的研究（如更好的价值函数、更高效训练信号、全新配方），而非机械再放大。未来几年会像2012–2020那样百花齐放，但拥有“大规模计算的研究”。

人类为何更会学：运动/视觉等领域可能由进化提供强先验；但语言/数学/编程的学习强韧性暗示“更底层的学习原则”存在。Ilya认为这是“可做成”的强信号，但具体做法暂不对外讨论。

SSI 的策略与定位SSI 自称“研究时代公司”，专注新技术路线，目标是攻克“可靠泛化”。

资金与算力：虽总融资约30亿美元，但相比“有庞大推理成本与产品工程摊销”的巨头，SSI可把更高比例的资源用于纯研究，故“研究层面算力并不吃亏”。

商业化与直奔超智：默认更偏“直奔超智”，但发布必然循序渐进；若时间线拉长或出于社会效益，也会更早对外部署。盈利路径“先做成研究、答案自会显现”。

AGI的形态与部署:Ilya将“超智”界定为“超高效学习者”：像极其聪明的15岁生，但能快速学会任何职业；部署即伴随“在岗持续学习”，并汇聚到同一模型中。广泛部署可能带来快速经济增长，甚至“功能性智能爆炸”（多岗位学习的汇集效应），但受治理与国别政策调节。

倡导更早、更渐进地“展示强模型”，以便公众与监管真正感知“力量”，从而推动行业更偏执地做安全（他预测这点会发生）。

提出一个应认真考虑的对齐目标：让 AI “关心有感知生命”（可能比只关心人类更易实现，因为 AI 本身或将具感知，镜像共情更自然）。

希望对“最强系统”设能力上限；避免单一目标、无止境优化的 RL 代理；现实可能需要多方案并行与跨公司协作。担心在“人人都有强AI助理”后，人会被动化；一种不一定喜欢但需面对的解法：更深的脑机接口（“Neuralink++”），让人类能直接获得与AI“同构”的理解，从而真正“在环”。

预训练使模型同质化；差异更多来自 RL/后训练。

自博弈适合谈判/策略等窄域技能，已体现在“辩论、证明-验证、LLM评审”等对抗式流程；多代理竞争机制可诱导方案多样性。

5–20 年内出现“人类式学习者”的概率较高。现范式或将“在同一曲线上齐头并进”，能力提升但趋同；一旦有新范式被证明有效，行业会在技术与对齐策略上产生收敛。
市场机制会带来专业化与多家共存，即便“人类式学习者”理论上可学一切，现实里“积累与路径依赖”会形成分工壁垒。

对合伙人离职去 Meta 的回应：Meta曾提出收购，Ilya拒绝；对方“某种意义上同意”，并获得了可观的近期流动性；他是 SSI 唯一加入 Meta 的人。