末号玩家001
26-06-18 20:09

最近看到晚点出了一期播客,嘉宾叫周楠,之前在百度美国研究院做投资,现在在高通创投。

她从Cerebras上市这件事聊起,一路回溯到十年前百度美研的状态。
我本来是冲着芯片话题去的,结果听完发现,这期采访信息量实在是有点大😂

1
我先挑一个最刺激的说。

Dario Amodei,就是现在Anthropic的创始人,他曾经在百度工作过。

而且按照周楠转述的说法,这段经历是他职业生涯里一个很重要的环节。

Dario当时的学术背景是数学、物理和生物,不是AI科班出身。是百度美研一个叫Greg Diamos的研究员发现了他,觉得这个人对AI的想法很深,训练模型的能力也很强,就把他拉进了团队。

据说内部当时还有些质疑,毕竟不是AI科班的人。

但百度美研那时候的氛围就是这样,研究员可以按自己的构想去做研究、发论文,环境很自由。

我们今天聊AI,总觉得这些frontier lab的创始人好像是从石头里蹦出来的。但你往前追,会发现很多人的起点其实在同一个地方。

周楠在播客里说,百度美研当时的研究员,有相当一部分后来成了OpenAI的早期成员,2022年ChatGPT出来之后,这批人又变成了各家frontier lab的联合创始人。

不只是OpenAI和Anthropic,像Inflection、Adept的创始人,Meta FAIR实验室的founding member,也有从百度美研出来的。

周楠形容那个阶段叫一堆神仙打架的年代,高峰期美研至少有250多人,很多是冲着吴恩达来的,也有吴恩达从DeepMind带过来的。

那个人才密度,在当时的Google和DeepMind都没有过。

2
然后是第二个比较有趣的细节。

很多人不知道,百度当时给研究员的资源支持,放在十年前来看,是相当罕见的。周楠原话的意思是,百度给了充足的预算让研究员去买GPU、训练AI模型,当时在世界上可能找不到第二家研究院是这样的。

这个事为什么重要?

因为AI不是写几篇论文就行的,你要训练大模型,首先得烧算力。

当时百度的语言模型已经接近3亿参数,用GPU训练一次要三个多月,调一次参数又要等好几个月。没有真金白银的算力投入,这些研究根本跑不动。

而正是因为研究员们天天泡在训练现场,他们很早就摸到了一个规律。

百度美研在Deep Speech 2那篇论文之后,就已经有了一个很清楚的感受:模型更大、数据更多、计算系统更强的时候,模型表现会持续提升。

这就是后来被系统化表述的Scaling Law,只不过在那个年代,更像是一种经验性的直觉。但这个直觉的方向是对的,而且百度美研的人确实比大多数人更早感受到了这件事。

3
有了这个判断,后面发生的事就顺理成章了。
既然AI进步依赖更强的算力,而GPU训练又实在太慢,那就得找新的芯片方案。

2017年,周楠把Cerebras这家公司带到了百度美研的研究员面前。Greg Diamos他们一看这个架构,用周楠的话说,眼前一亮。

因为他们自己每天在训练三亿参数的模型,痛点太真实了,太想要一个更快的芯片来解决训练时间的问题。

Cerebras当时连实物芯片都没有,还没流片,所有的设计都只存在于一个模拟器上。而能在这个模拟器上跑真实大模型来做验证的公司,当时只有百度一家。

因为那时候百度的语言模型是世界上最大的,而且是pre-Transformer时代,基于百度自研的PaddlePaddle架构。

百度把自己的模型跑在Cerebras的模拟器上,给出了尽调结果,某种程度上帮Cerebras验证了技术理念。

她觉得在Cerebras早期的投资人里,百度从技术角度做的尽调大概真的是最深入的,风险报告也是最全面的。

然后投决会上,参与的是百度CFO、陆奇和Robin本人,投资备忘录发出去之后,不到两天就拍板通过了。

有人问Robin当时有没有提过等芯片流片之后再投,答案是没有,高管们没有干涉。这个决策速度放在今天来看,可能很多公司的投委会都做不到。

4
很多人可能不知道,当时百度不只是在看Cerebras,周楠说她当时还在推动一个更大的布局,想成立一个独立的AI基金,去系统性地投AI全栈。

OpenAI当时也在她的待投名单上,Databricks也是很早就接触了。

那个时候OpenAI跟百度关系还不错,因为陆奇是Sam Altman的mentor,OpenAI当时是愿意接受百度投资的。

但后来因为不可抗力因素,这个基金没有做起来,LP纷纷退出,整个事情就搁置了。

周楠说,不是百度错过了,是外部环境让这件事没法继续。

从百度美研离开的那批研究员后来纷纷创业,第一个电话打的就是周楠。她说如果当时把这些人都投了,那应该是非常了不得的。

5
重新看这些旧事,不是为了论证百度已经赢了什么,AI竞争离终局还早得很。

但有些事实确实值得被看到:百度很早就进入了AI的深水区,它当年看到的不是一个短期风口,而是模型、数据、算力会一起变大的长期趋势。

它投了人,投了算力,投了芯片,也投了判断。

最后留下来的成果,自动驾驶是一个,昆仑芯是另一个,还有如今的智能体应用。周楠说昆仑芯的雏形跟当年投Cerebras时期的交流是有关系的。

这些东西不是凭空冒出来的,它们跟十年前百度对AI芯片和算力的关注是连在一起的。

有些投入的回报周期很长,长到中间会让人觉得好像什么都没发生,但埋下去的种子,最终都会开花结果。

发布于 福建