默庵·超级个体
26-04-21 09:35 微博认证:微博新知博主 科技博主 头条文章作者 微博原创视频博主

OpenAI 首席科学家 Jakub Pachocki 最近做了一期很深的播客访谈,聊了模型进展、强化学习、对齐研究和 AI 对社会的影响,信息量极大。

关于模型进展,他说 OpenAI 内部已经把 Codex 用于大部分实际编码工作了,编程这件事的形态已经发生了很大变化。四个月前他们提出的目标是今年 9 月达到研究实习生水平的能力,2028 年 3 月实现更完整的自动化 AI 研究员,目前看来进度在轨道上。他预计不远的将来,模型就能自主工作好几天,用比现在多得多的算力,独立产出高质量成果。甚至 GPT 5.2 Pro 已经贡献了一些他觉得有价值的研究想法,虽然跟他预期的未来相比还很小。

关于强化学习能否从数学和代码扩展到医疗、法律、金融这些更难验证的领域,他很乐观。他的思路是,这些通用任务的难点跟长时间任务的难点本质上是重合的。即便是一个定义清晰的数学问题,如果需要做一年,第一天该干什么本身就是一个开放性问题。所以核心挑战是教会模型评估自己的阶段性进展,在更长的时间跨度上保持方向感。

有一个很实用的观点是关于企业该不该自己做强化学习。他的建议是,上下文学习(in-context learning)是一种比 RL 更高效的数据利用方式,而且未来会越来越好。所以企业应该做的事情是搞清楚自己领域的评估标准、收集好数据和示例,但未来很可能直接把这些喂进上下文就比自己微调模型效果更好。关于 Harness(Agent 编排框架),他认为通用 Harness 很快就会出现,不需要每个领域都自己搭一套。Codex 本身用在编码以外的场景其实效果就已经不错了。

最让人印象深刻的是他对对齐研究的看法。他非常看好思维链监控(chain-of-thought monitoring)这个方向。推理模型的思维链在训练时没有被直接监督,所以它可能会暴露模型真实的动机和推理过程,这跟机械可解释性的思路类似,但优势在于思维链默认就是自然语言,理解成本低得多。他当初坚持隐藏推理模型的思维链,核心原因就是这个:一旦在产品里展示思维链,迟早就得训练它变好看,训练信号就会跟监控目标打架,这条路就废了。给模型保留一个不被训练信号污染的"私密思考空间",是长期理解模型行为的关键。

他也坦率地谈到了 AI 对社会的影响。当大量智力工作可以被自动化,财富集中和就业冲击是真实的问题,而且可能发生得很快。更深层的担忧是,一个高度自动化的公司可能只需要极少数人就能运转并拥有巨大的能力,这种权力集中的治理问题目前还没有明显的解法,需要政策制定者和整个社会一起来面对。

#科技先锋官# #How I AI#

发布于 山东