转：回顾李飞飞YC访谈：从ImageNet到World Labs，空间智能是AI的下一个前沿

YC正在把前两天的创业学校活动视频一个个放出来，最近的一期是李飞飞，谈的当然是空间智能。

李飞飞坚持语言模型不能通向AGI，因为：语言的进化只用了不到50万年，但视觉和空间理解能力的进化却用了5.4亿年。这意味着，尽管ChatGPT这样的语言模型已经如此强大，但要让AI真正理解和生成3D世界，可能是一个更加艰巨的挑战。

一、ImageNet的诞生：一个"疯狂"的赌注

说到ImageNet这个项目，李飞飞的经历和大家想的不太一样。2007年，她还是普林斯顿大学的一年级助理教授，当时AI领域的状况相当惨淡——没什么数据，算法在计算机视觉上基本不work，更别提什么AI产业了。

她回忆道，那时候公众根本不知道"AI"这个词。但就是有这么一群人，从AI的创始人John McCarthy开始，到后来的Geoffrey Hinton，大家都怀揣着一个AI梦想——让机器能够思考和工作。

李飞飞个人的梦想是让机器能够"看见"。她认为视觉不仅仅是感知，更是理解世界和在世界中行动的基础。但当时她面临一个巨大的难题：泛化问题。

"如果你做机器学习，就必须尊重泛化是机器学习的核心数学基础。"她解释道，"要实现泛化，这些算法需要数据。但当时计算机视觉领域根本没有数据。"

作为第一代接触互联网的研究生，李飞飞和她的学生做了一个大胆的决定：从互联网下载10亿张图片（这是当时能获取的最大数量），创建整个世界的视觉分类体系。

这个想法在当时看来简直是疯了。但ImageNet最终包含了超过1400万张标注图像，覆盖了2万多个类别。更重要的是，他们从一开始就决定开源这个数据集，并创建了ImageNet挑战赛，邀请全世界最聪明的研究者来参与。

二、AlexNet时刻：深度学习的黎明

ImageNet发布后的头几年，李飞飞坦言信号很微弱。2009到2012年间，虽然他们坚信数据会推动AI发展，但实际效果并不明显。最初几年的错误率都在30%左右——虽然不是完全随机，但也谈不上多好。

李飞飞讲了个特别生动的细节。2012年夏末的一个深夜，她在家里收到研究生发来的消息："我们收到了一个非常突出的结果，你应该看看。"

那个结果来自Geoffrey Hinton团队提交的一个叫"SuperVision"的模型（后来被称为AlexNet）。有意思的是，这个名字是"super"和"supervised learning"的巧妙结合。

"我们看到它用的是卷积神经网络——一个1980年代就发表的老算法。"李飞飞回忆道，"一开始我们都很惊讶，为什么会有如此大的进步。"

事实证明，这不仅仅是算法的胜利。Alex Krizhevsky首次将两块GPU连接起来用于深度学习计算。这是数据、GPU和神经网络第一次真正汇聚的历史性时刻。

在2012年的ICCV会议上，当Alex Krizhevsky展示结果时，整个计算机视觉界都被震撼了。AlexNet将错误率从26.2%降到了15.3%——这是一个巨大的飞跃。用Yann LeCun的话说，这是"计算机视觉历史上明确的转折点"。

三、从识别物体到理解场景：一个"百年梦想"的实现

物体识别只是第一步。李飞飞从研究生时代就有一个更大的梦想——让机器能够讲述图像的故事。

"当人类睁开眼睛，我们不只是看到'人、人、人、椅子、椅子'，"她解释道，"我们看到的是一个会议室，有屏幕、舞台、观众、摄像机——我们能描述整个场景。"

她原本以为这个问题会耗费她一生的时间。"我真的告诉自己，如果在临终前能创造出一个会讲故事的算法，我就成功了。"

但深度学习的爆发加速了一切。当Andrej Karpathy和后来的Justin Johnson加入她的实验室后，自然语言和视觉开始产生交集。2015年，他们发表了一系列论文，成功实现了图像自动配字幕。

李飞飞分享了一个有趣的小故事。当Karpathy完成图像配字幕的博士论文后，她开玩笑说："嘿Andrej，我们来做反向的怎么样？用句子生成图像。"

Karpathy知道她在开玩笑，笑着说："哈哈，我要走了。"那时候世界还没准备好。但现在，我们都知道生成式AI已经能够用文字创造出精美的图片。

"我觉得自己是世界上最幸运的人，"李飞飞感慨道，"我的整个职业生涯见证了AI从寒冬结束到起飞的全过程。"

四、空间智能：比语言更难的挑战

说到空间智能这个话题，李飞飞提到了一个特别有意思的现象。她习惯从进化和脑科学中寻找灵感，特别是在寻找下一个要解决的重大问题时。

她分享了一个让人深思的数据对比：人类语言的进化用了不到50万年，而视觉和空间理解能力的进化却用了5.4亿年。

"第一个三叶虫在5.4亿年前的水下进化出了视觉。"她解释道，"在视觉出现之前的5亿年里，动物都很简单。但视觉出现后的5.4亿年，因为能够看见和理解世界，进化的军备竞赛开始了，动物智能开始互相竞争。"

在她看来，解决空间智能问题——理解3D世界、生成3D世界、在3D世界中推理和行动——是AI的基础性问题。"对我来说，没有空间智能的AGI是不完整的。"

这就是为什么她要创建World Labs，专注于构建超越平面像素和语言的世界模型，真正捕捉世界的3D结构和空间智能。她的联合创始人团队堪称豪华阵容：

Justin Johnson：她的前学生，实时神经风格迁移的开创者

Ben Mildenhall：NeRF论文的作者

Christoph Lassner：Pulsar的创造者，为后来的Gaussian Splats奠定了基础

五、为什么视觉比语言更难？三个维度的挑战

很多人都好奇为什么视觉AI的发展似乎落后于语言模型，李飞飞的解释挺颠覆常规思维的。

首先，语言本质上是一维的——音节按顺序排列，这就是为什么序列建模在NLP中如此经典。但她指出了一个更深层的特点："语言是纯粹生成的。自然界中没有语言，你摸不到语言，看不到语言。语言完全是从每个人的头脑中产生的。"

相比之下，世界要复杂得多：

1. 维度的复杂性：真实世界是3D的（加上时间就是4D），这本身就是一个组合爆炸式的更难问题。

2. 感知的挑战："无论是你的眼睛、视网膜还是相机，都是将3D坍缩到2D。这在数学上是病态的。"她解释道，这就是为什么人类和动物需要多个传感器。

3. 生成与重建的平衡：世界不是纯粹生成的。"你需要在生成和重建之间流畅地切换。如果完全偏向生成，我们可以谈论游戏和元宇宙；如果完全偏向真实世界，我们谈论的是机器人。"

最后还有一个现实问题：数据的稀缺。"互联网上有大量的语言数据，但空间智能的数据在哪里？它们都在我们的脑海中，但不像语言那样容易获取。"

"但坦率地说，这让我兴奋，"李飞飞笑着说，"如果容易的话，别人早就解决了。我的整个职业生涯都在追求那些困难到近乎妄想的问题。"

六、从干洗店到World Labs：一个移民女孩的创业基因

李飞飞的创业经历比大多数人想象的要早得多。19岁时，出于绝望，她需要养活父母并支付普林斯顿的学费，于是开了一家干洗店。

"用硅谷的语言来说，我募资了，我是创始人兼CEO，我也是收银员和其他所有角色。"她开玩笑道，"七年后我退出了。"

这段经历塑造了她的性格。作为教授，她特意选择去那些没有计算机视觉教授的系——这违背了很多人的建议，因为年轻教授通常应该去有社群和资深导师的地方。

2018年左右，当AI不仅接管了工业界，更成为人类问题时，她在斯坦福创建了人类中心AI研究院（HAI）。"我真的很关心创造一个AI进步的灯塔，试图想象AI如何以人为中心，如何帮助人类。"

她把HAI当作创业公司运营了五年："可能有些人不太高兴我在大学里这样做，但我为此感到自豪。"

"我就是喜欢创业的感觉，"她总结道，"站在原点的感觉——忘记你过去做过什么，忘记别人怎么看你，就是埋头苦干。这是我的舒适区。"

七、培养传奇：什么样的人能改变AI？

李飞飞培养出了许多AI界的传奇人物，包括Andrej Karpathy、Jim Fan、贾佳等。当被问到这些学生的共同特质时，她的回答特别有启发性。

"他们都很不同——有些是纯粹的科学家，有些是产业领袖，有些是最优秀的AI知识传播者。"但她发现了一个统一的特质：智力上的无畏（intellectual fearlessness）。

"不管你来自哪里，不管我们要解决什么问题，那种拥抱困难、全力以赴、试图解决问题的勇气和无畏，是成功者的核心特征。"

她说这也是她在World Labs招聘时最看重的品质："我从他们身上学到了这一点，现在我也在寻找有这种特质的年轻人。"

八、AGI的定义困境与开源的生态价值

当被问到AGI会以什么形式出现时，李飞飞的回答出人意料。她直言自己对AGI这个定义感到困惑。

"1956年在达特茅斯聚会的AI创始人们，包括John McCarthy和Marvin Minsky，他们想要解决的就是让机器能够思考的问题。"她指出，"我真的不知道如何区分这个AI的创始问题和现在的新词AGI。对我来说，它们是一回事。"

她认为现在的系统确实比80、90年代的窄AI系统表现更好，但这只是领域的自然进展。"AI的使命就是创造能像人类一样聪明或更聪明地思考和做事的机器。"

至于开源问题，她的观点很务实："生态系统有不同的方法是健康的。这取决于公司的商业策略。"她举例说，Meta开源是因为他们现在的商业模式不是卖模型，而是通过开源来扩大生态系统，吸引人们到他们的平台。

但她强调了一个原则："开源应该被保护。无论是在公共部门如学术界，还是在私营部门，开源都极其重要——对创业生态系统重要，对公共部门也重要。它不应该被惩罚。"

九、给PhD学生的建议：在资源差距中寻找独特价值

一位听众问到在这个AI快速发展的时代，PhD学生应该研究什么。李飞飞的回答既现实又充满希望。

她首先承认了一个残酷的现实："学术界不再拥有大部分AI资源。计算和数据方面的资源在学术界真的很少。有些问题工业界可以用更好的计算、数据和团队科学更快地解决。"

但她建议PhD学生寻找那些不在工业界"碰撞路径"上的北极星问题：

1. 跨学科AI："这是学术界真正令人兴奋的领域，特别是用于科学发现。有太多学科可以与AI交叉。"

2. 理论研究："AI能力已经100%超越了理论。我们没有可解释性，不知道如何找出因果关系。模型中有太多我们不理解的东西。"

3. 表征问题："在计算机视觉中，我们仍然没有解决一些表征问题。"

4. 小数据学习："这是另一个真正有趣的问题领域。"

她的建议是："作为PhD学生，我会推荐你寻找那些北极星，那些不管你有多少芯片都能取得很大进展的基础性问题。"

十、数据的未来：质量与数量的平衡

最后一位听众问到了World Labs如何解决空间数据稀缺的问题。虽然李飞飞开玩笑说"你应该加入World Labs，我就告诉你"，但她还是分享了一些思考。

"我们采取的是混合方法。拥有大量数据很重要，但拥有大量高质量数据也很重要。"她强调，"归根结底，如果你不小心数据质量，还是会出现垃圾进、垃圾出的问题。"

这呼应了她创建ImageNet时的理念——不仅要有规模，更要有质量和结构。这也许是为什么ImageNet能够催生深度学习革命的关键原因之一。
转： http://t.cn/A6DTrG5j