高飞 26-02-08 11:45
微博认证:至顶科技创始人 AI博主

#模型时代# 杨立昆喊了三年的理论,被一群心脏科AI研究者证实了?

刚在X上看到一个医学超声波的AI研究,和杨立昆喊了好几年的JEPA理论直接相关,蛮值得关注的,大致介绍一下。

1、去年11月杨立昆离开待了12年的Meta,创办AMI Labs,把全部赌注押在他2022年提出的JEPA理论上:AI不应该逐像素重建现实,应该在抽象空间做预测。离职时他对FT说"LLM在超级智能方向上是死路",公开批评老东家只敢做安全的、被验证过的事,还说Meta新任AI负责人Alexandr Wang"年轻、没有研究经验"。

2、不过杨的批评虽然犀利,但是一直面对有理论,无实践的窘境,虽然你看起来说的有道理,但是没有落地成果啊。

3、但三个月后,这个来自加拿大心脏中心的论文给他送上了弹药。多伦多大学健康网络的Bo Wang团队发布EchoJEPA,首次把JEPA用于医学超声,在1800万条心脏超声视频上训练。

4、心超有个天然难题:画面布满随机散斑噪声,跟心脏结构毫无关系,同一病人换角度拍噪声图案就完全不同。这恰好是JEPA理论的完美检验场:像素层面纹理和语义彻底脱钩,你要么学噪声要么学结构,没有中间地带。

5、团队做了极干净的对照:同架构同数据同算力,只换训练目标。潜在预测版射血分数误差低27%,视图分类准确率高45个百分点。用1%标注数据就超过对手用100%的成绩。声学干扰下性能只降2.3%,对手降16.8%。

6、有意思的是,论文一作Alif Munim跟杨立昆没有任何师承关系。Munim本科毕业于多伦多都会大学,2022年加入Bo Wang的心脏AI团队,Bo Wang是斯坦福博士,跟杨也没有同门渊源。

7、他们用JEPA的原因很务实:Meta把V-JEPA 2的代码和权重完整开源了。EchoJEPA的代码仓库写得很直白——"预训练配置基本沿用V-JEPA 2",本质上是拿Meta的开源工具针对超声做了适配。论文致谢提到V-JEPA 2的两位共同作者Quentin Garrido和Koustuv Sinha在训练策略上提供了指导。但这不是学术谱系里的师生传承。

8、2月7日,杨立昆在X上给一作的推文留言,评论"Very cool!"。Munim的回复是:"Thank you my goat. I believe and will continue fighting for your vision."(谢谢我的GOAT,我信你的路线,会继续为之奋斗。)

9、杨立昆刚离开Meta单干,押的就是JEPA这条路。现在一个跟他素不相识的年轻研究者,拿他的开源代码在临床场景里跑出了漂亮的数据,然后公开说"为你的愿景而战"。杨立昆应该是蛮开心的。

发布于 日本