默庵·超级个体
25-07-22 10:34 微博认证:微博新知博主 科技博主 头条文章作者 微博原创视频博主

OpenAI 前核心科学家,“思维链提示”(Chain-of-Thought)的奠基人之一:Jason Wei ,他最近写了一篇新博客,分享了对 AI 发展方向的思考。文章中提到一个非常有价值的观点,叫作「验证者定律」,简单讲就是:AI 的能力强不强,很大程度上取决于它所做的任务结果是不是容易验证。

什么意思呢?就是训练 AI 解决某个任务的难度,跟这个任务是否容易被验证,有非常强的正相关关系。

简单来讲就是,AI 更擅长解决那些“结果好坏”更容易判断的问题。

举几个例子,比如:

1、做一个像 Instagram 那样的网站,可能需要一个工程师团队干上几个月甚至几年;但普通用户打开网页,能马上判断网站是否正常运行;

2、编程调试:写一段代码可能得几个小时,但跑测试用例,很快就能判断有没有bug;

3、做数独游戏:数独填空需要大量时间思考,仔细推理各种组合,但验证答案对错,马上就能判断。

这几个例子背后的共性是什么?解决过程复杂,结果判断简单。Jason 的意思也很明确:AI 怕的不是任务很难,而是“没法快速判断结果对错”。

对此,Jason 引入了一个关键概念:验证不对称性。他说,这种现象在很多任务中都很常见——我们可能要花很多时间、算力和精力去解决一个问题,但验证一个已有答案是否正确,却常常只需要几秒钟。

Jason 特别指出,还有一种更棘手的情况,叫做“近似对称验证”。用更通俗的话说,就是验证答案花费的时间,跟解决问题本身差不多。

比如,有人写了一个复杂的数据处理程序,你想验证它是否有效,很可能得从头跟一遍流程,理解每一步的逻辑,有时候甚至要自己重新实现一遍。

这些“近似对称验证”的任务,现阶段对AI来说就比较头疼,因为它没办法享受到"秒级反馈"的好处。AI学东西靠的就是不断试错,如果每次试错后都得等很久才知道对不对,那学习速度就会慢很多。

所以,Jason 的核心观点就是:未来AI会快速突破的任务,遵循「验证者定律」。换句话说,所有可能被解决且易于验证的任务,都终将被 AI 解决。

他还总结了五个判断标准,简单讲就是看一个任务适不适合AI来做:

第一,客观标准清晰:像加法、看图识物这种,对就是对,错就是错;

第二,能快速判断对错:最好几秒内就能知道答案对不对;

第三,能不能批量验证:比如一次性验证多个解决方案;

第四,结果稳不稳:不会今天说对,明天又说错;

第五,能不能给打分:针对一个具体问题的多个解决方案,能很容易地做出排序,判断哪个解法更好。

这也就是为什么过去十年AI进步最快是图像识别、机器翻译、语言理解等领域,因为基本都符合这五个条件,研究人员知道怎么验证、怎么给分、怎么排名。#人工智能[超话]##AI创造营##微博新知##ai兴趣创作计划#

发布于 山东