默庵·超级个体
26-06-23 08:09 微博认证:微博新知博主 科技博主 头条文章作者 微博原创视频博主

晚点 LatePost 这篇访谈的信息量非常大,串起了百度美研、Scaling Law、OpenAI、Anthropic、Cerebras 之间那些鲜为人知的往事。读完之后,你会发现,今天 AI 行业最核心的几条线索,十年前就已经在百度硅谷研究院埋下了种子。

先说人。百度美研顶峰时期至少有 250 多人,人才密度极高,据说连 Google DeepMind 都不曾达到过这个浓度。很多人是冲着吴恩达来的,这批人后来散落到了整个 AI 行业最核心的位置:有人去了 OpenAI,有人去了 Anthropic,有人参与创办了 Adept、xAI,还有一些成了 Meta FAIR 等顶级实验室的重要成员。可以说,百度美研是半个硅谷 AI 圈的黄埔军校。

其中最值得一提的是 Dario Amodei,也就是后来 Anthropic 的创始人。他能进百度,其实是职业生涯里很关键的一步。把他招进来的人叫 Greg Diamos。有意思的是,Dario 加入百度之前,学的是数学、物理和生物,跟计算机和 AI 没什么直接关系。但 Greg Diamos 发现这个人对 AI 有很强的直觉,训练模型的能力也很突出,于是把他拉了进来。后面的故事大家都知道了。

再说技术。十年前,Transformer 还没出现的时候,百度已经在训练接近 3 亿参数的语言模型了。用 GPU 跑一次要三个多月,底层跑在百度自研的框架 Paddle(飞桨)上。这个阶段,他们其实已经隐约摸到了 Scaling Law 的雏形:模型越大、数据越多、效果越好。只不过当时没有人把这件事系统地总结出来。

2020 年夏天,一些跳槽到 OpenAI 的百度前员工传回消息说,GPT-3 快训练出来了。当年在百度想做的事情,快要在 OpenAI 做成了,就是那个「维基百科水平的语言模型」。那时候 GPT-3 还在后训练阶段,距离 ChatGPT 面世还有两年多。

然后是投资。这部分最让人唏嘘。

百度 2017 年投资了 Cerebras,这家做超大芯片的公司。投资决策只用了两天,由李彦宏、陆奇和 CFO 三个人拍板。更有意思的是,Sam Altman 本人也是 Cerebras 的投资人,而且比百度还早一年,2016 年就投了。这个投资眼光,放到今天来看确实超前。

但更让人感慨的是那些没投成的。百度曾经有机会成为 OpenAI、Anthropic 的早期天使投资人。当时 OpenAI、Databricks、Scale AI 这些公司都在百度的待投名单上。可惜后来中美关系恶化,这些投资全部搁浅了。如果当年投成了,今天的故事可能完全是另一个版本。

最后说一个人物关系。陆奇早年曾是 Sam Altman 的 mentor。2018 年 5 月陆奇从百度离职,同年 8 月就接受了 Sam Altman 的邀请,出任 YC 中国的创始人兼 CEO。从这个时间线可以看出,两个人的关系一直很紧密。

回过头来看,百度美研那几年,人才、技术、资本、判断力,其实什么都有。只是时代的窗口太窄,地缘政治的变量太大,很多事情差了一步就是差了一个时代。这些往事今天读起来,既让人佩服当年的远见,也让人感叹命运的吊诡。

#How I AI##科技先锋官#

发布于 山东