AI金三啊
26-06-18 19:51 微博认证:AI博主

《晚点聊》这期,把AI未来讲回十年前
昨天顺手听了周楠这期《晚点聊》。

一开始我以为只是补一段百度AI旧事,听完发现,它把很多 AI 问题,放回了十年前的现场。

1、百度美研当年强在哪?周楠说,那时候百度美研是“硅谷最强大的一个AI research lab”。细节很具体:speech model、vision model、语言模型、自动驾驶、healthcare、fintech,都有人在做。

2、资源也是真的投了。周楠提到,百度给研究员充足预算买 GPU、训练 AI 模型。AI 这事很多时候没那么玄,能不能反复试,先看机器够不够。

3、当时模型问题已经很重。百度训练的语言模型接近 300million parameter。放回十年前就很大。用 GPU 训一次,至少三个多月,调参还要再等几个月。

4、Scaling Law 的直觉也很早出现。Deep Speech 2之后,他们已经感觉到:模型更大、数据更多、训练更久、计算系统更强,效果还会往上走。

5、Cerebras 这段最值得听。百度 2017 年投它时,对方还没流片,只有 simulator。百度把自己的语言模型放进去跑,用真实训练需求试它。周楠说,当时能验证这个 simulator 的公司,只有百度一家。

6、尽调也很细。良率、散热、电源、compiler、PaddlePaddle怎么接,都要拆开看。Cerebras 的 memo 发给投决会后,不到两天通过。周楠形容是“无痛秒过”,Robin 也没有要求等流片后再投。

7、人才线也能串起来。百度美研高峰期有250多人,Dario、Greg Diamos,还有后来去pOpenAI、Anthropic、Inflection、Adept 的一批人,都在这张网里出现过。

8、遗憾也有。后面很多事没有按原来的路径发生,访谈里提到不可抗力因素,也提到一些基金和投资机会没做起来。

9、最后留下来的东西,周楠点了两个:自动驾驶和昆仑芯。

虽然很多人爱嘲讽百度起大早赶晚集,但是我总觉得,百度是真的有战略定力的在坚持做AI,长期主义真的不是说说而已。另外如果想补这条 AI 历史线,可以听听这期播客,比看二手总结更能得到真实认知。
#how i ai#

发布于 山东