麻省理工科技评论
26-06-26 16:40 微博认证:《麻省理工科技评论》杂志官方微博

【翁荔最新博文深度拆解Scaling Laws:AI行业最信赖的公式,没有那么可靠】

6 月 24 日,前 #OpenAI# 安全研究副总裁、Thinking Machines Lab 联合创始人翁荔(Lilian Weng)在她的个人技术博客 Lil'Log 上发表了最新长文《Scaling Laws, Carefully》。这篇大概两万多字的文章,对深度学习中最重要的经验发现之一:缩放定律(Scaling Laws),进行了一次从起源到前沿的系统性梳理。

同时,翁荔也以少见的审慎态度指出:这套被 AI 行业奉为圭臬的理论工具,在实际拟合和外推过程中充满了容易被忽视的陷阱。

对于关注 AI 研究的从业者来说,Lil'Log 是一个不需要介绍的名字。

自 2017 年起,翁荔就开始在这个博客上记录学习笔记,从强化学习入门综述写到扩散模型、LLM 自主智能体、对抗攻击、推理时计算(test-time compute)等前沿话题,每篇文章都以数万字的篇幅,将某一研究领域从理论基础到最新进展系统串联,配上清晰的数学推导和精心绘制的图表。因为兼具深度与可读性, Lil'Log 成为机器学习领域被引用和推荐最多的个人技术博客之一。

这背后也有翁荔本人履历的支撑。她本科毕业于北京大学信息管理与信息系统专业,本科期间曾赴香港大学交流,后前往美国印第安纳大学伯明顿分校攻读博士学位,研究方向为复杂网络与系统。

戳链接查看详情:http://t.cn/AXSOBz0t