彼得罗浮斯基 26-01-18 21:18
微博认证:投资内容创作者

这是一个关于 OpenAI 核心贡献者翁家翌(Jiayi Weng) 的深度访谈视频总结。他是 WhynotTV Podcast 的嘉宾。

翁家翌于 2022 年加入 OpenAI,是 ChatGPT、GPT-4、GPT-4o 等模型背后 Post-training(后训练)强化学习基础设施(RL Infra) 的核心搭建者。

以下是视频内容的详细总结:

🚀 核心观点速览
工业界 AI 的真相:在顶尖 AI 实验室,工程能力(Engineering) 远比算法研究(Research)重要。核心竞争力在于单位时间内的迭代次数和 Infra 的正确性。

不仅是“卖铲子”:他在 OpenAI 负责搭建 RL Infra,相当于为所有研究员提供“铲子”。因为所有模型发布都需要用到这套 Infra,所以他的名字出现在了几乎所有 OpenAI 模型的贡献者名单中。

影响力(Impact)至上:从清华时期的开源作业、到“天授”框架、再到“退学网”,他一直致力于打破信息差,做能被广泛使用、产生实际影响力的工具。

📖 详细内容总结
1. 成长与求学:从竞赛少年到开源大神
童年与启蒙:小学时就展现出数学天赋,初中自发提前学完高中数学,目的是“投资未来”。

清华岁月:

打破信息差:大一时为了对抗内卷和信息不对称,他在 GitHub 开源了清华计算机系的作业和资料,至今仍广为流传。

误入 RL 领域:选导师时按“牛逼程度”选了朱军老师,误打误撞进入强化学习(RL)领域。

科研 vs 工程:在做 RL 研究时,他发现自己并不享受“炼丹”(调参)和刷 Paper 的过程,反而对优化代码、搭建好用的框架(Infra)充满热情。

两大成名开源项目:

天授 (Tianshou):大四时因为觉得现有的 RL 库(如 Ray/RLlib)太臃肿难用,花两周手写了一个轻量级、模块化的 RL 框架,深受社区欢迎。

退学网 (Tuixue.online):2020 年申请季遇疫情和签证难题,写爬虫做了一个签证位置查询网站,访问量破千万,纯公益性质。

2. 加入 OpenAI:ChatGPT 前夜
职业选择:2022 年 CMU 硕士毕业时,面临 DeepSeek(当时是幻方量化的 AI Lab)、OpenAI、NVIDIA 等选择。虽然当时 ChatGPT 还没诞生,但他为了学习最前沿的研究方法论,选择了 OpenAI。

面试趣闻:面试官是 ChatGPT 之父 John Schulman。Schulman 非常欣赏他漂亮的 GitHub 代码和极强的工程能力,给了他一道极难的开放性编程题,他两小时做完并当场 Debug 通过。

ChatGPT 的爆发:刚加入时负责 WebGPT 的后续。ChatGPT 的诞生带有半偶然性,最初只是想收集点数据,没想到一经发布就引爆了全球。

3. OpenAI 内部揭秘:Infra 决定成败
Infra Engineer 的角色:随着模型 Scale up,RL 的挑战从算法转变为系统工程。现在的瓶颈在于如何用更多的 GPU、在大模型 Inference 极慢的情况下高效训练。

OpenAI 的护城河:不是某个具体的算法秘密,而是组织架构和基础设施带来的极高迭代速度。

"教 Researcher 做工程比教 Engineer 做 Research 难得多。"

"谁修的 Bug 越多,谁的模型就训得越好。"

人员流动与组织:OpenAI 早期的人才密度极高,现在虽然扩张了,但依然努力保持高效。他提到 Sam Altman 等领导层非常注重细节,甚至会关注技术底层。

4. 个人哲学与未来展望
宿命论:他倾向于认为世界是决定论的,未来可能已经被写好,人可能只是被模拟的原子。

对 AGI 的看法:认为目前尚未达到 AGI。当 AI 能够独立修改并维护复杂的 Infra 代码时,才算接近 AGI。目前 AI 只能处理单一任务,无法处理这种长链路、高成本的工程问题。

未来规划:目前处于“迷茫期”。曾经的目标(如影响力、财富)部分已达成,现在希望存够钱退休,去寻找自己真正想做的事。

发布于 新加坡