这是一个关于 OpenAI 核心贡献者翁家翌(Jiayi Weng) 的深度访谈视频总结。他是 WhynotTV Podcast 的嘉宾。
翁家翌于 2022 年加入 OpenAI,是 ChatGPT、GPT-4、GPT-4o 等模型背后 Post-training(后训练)强化学习基础设施(RL Infra) 的核心搭建者。
以下是视频内容的详细总结:
🚀 核心观点速览
工业界 AI 的真相:在顶尖 AI 实验室,工程能力(Engineering) 远比算法研究(Research)重要。核心竞争力在于单位时间内的迭代次数和 Infra 的正确性。
不仅是“卖铲子”:他在 OpenAI 负责搭建 RL Infra,相当于为所有研究员提供“铲子”。因为所有模型发布都需要用到这套 Infra,所以他的名字出现在了几乎所有 OpenAI 模型的贡献者名单中。
影响力(Impact)至上:从清华时期的开源作业、到“天授”框架、再到“退学网”,他一直致力于打破信息差,做能被广泛使用、产生实际影响力的工具。
📖 详细内容总结
1. 成长与求学:从竞赛少年到开源大神
童年与启蒙:小学时就展现出数学天赋,初中自发提前学完高中数学,目的是“投资未来”。
清华岁月:
打破信息差:大一时为了对抗内卷和信息不对称,他在 GitHub 开源了清华计算机系的作业和资料,至今仍广为流传。
误入 RL 领域:选导师时按“牛逼程度”选了朱军老师,误打误撞进入强化学习(RL)领域。
科研 vs 工程:在做 RL 研究时,他发现自己并不享受“炼丹”(调参)和刷 Paper 的过程,反而对优化代码、搭建好用的框架(Infra)充满热情。
两大成名开源项目:
天授 (Tianshou):大四时因为觉得现有的 RL 库(如 Ray/RLlib)太臃肿难用,花两周手写了一个轻量级、模块化的 RL 框架,深受社区欢迎。
退学网 (Tuixue.online):2020 年申请季遇疫情和签证难题,写爬虫做了一个签证位置查询网站,访问量破千万,纯公益性质。
2. 加入 OpenAI:ChatGPT 前夜
职业选择:2022 年 CMU 硕士毕业时,面临 DeepSeek(当时是幻方量化的 AI Lab)、OpenAI、NVIDIA 等选择。虽然当时 ChatGPT 还没诞生,但他为了学习最前沿的研究方法论,选择了 OpenAI。
面试趣闻:面试官是 ChatGPT 之父 John Schulman。Schulman 非常欣赏他漂亮的 GitHub 代码和极强的工程能力,给了他一道极难的开放性编程题,他两小时做完并当场 Debug 通过。
ChatGPT 的爆发:刚加入时负责 WebGPT 的后续。ChatGPT 的诞生带有半偶然性,最初只是想收集点数据,没想到一经发布就引爆了全球。
3. OpenAI 内部揭秘:Infra 决定成败
Infra Engineer 的角色:随着模型 Scale up,RL 的挑战从算法转变为系统工程。现在的瓶颈在于如何用更多的 GPU、在大模型 Inference 极慢的情况下高效训练。
OpenAI 的护城河:不是某个具体的算法秘密,而是组织架构和基础设施带来的极高迭代速度。
"教 Researcher 做工程比教 Engineer 做 Research 难得多。"
"谁修的 Bug 越多,谁的模型就训得越好。"
人员流动与组织:OpenAI 早期的人才密度极高,现在虽然扩张了,但依然努力保持高效。他提到 Sam Altman 等领导层非常注重细节,甚至会关注技术底层。
4. 个人哲学与未来展望
宿命论:他倾向于认为世界是决定论的,未来可能已经被写好,人可能只是被模拟的原子。
对 AGI 的看法:认为目前尚未达到 AGI。当 AI 能够独立修改并维护复杂的 Infra 代码时,才算接近 AGI。目前 AI 只能处理单一任务,无法处理这种长链路、高成本的工程问题。
未来规划:目前处于“迷茫期”。曾经的目标(如影响力、财富)部分已达成,现在希望存够钱退休,去寻找自己真正想做的事。
发布于 新加坡
