#模型时代# 深度学习之父、图灵奖得主Bengio：三年前的ChatGPT让我觉得人类无法掌控AI，希望通过“科学家AI”把模型彻底装在笼子里

大家知道，Yoshua Bengio（约书亚·本吉奥）、Geoffrey Hinton（杰佛里·辛顿）和Yann LeCun（杨立昆）并称为"深度学习三巨头/ 深度学习之父"，他们在20世纪90年代和21世纪初期的"AI寒冬"时期，仍然坚持推动神经网络研究，最终引领了深度学习革命，并共同获得了2018年图灵奖。

这三位当中，辛顿、杨立昆大家都比较熟悉，但Yoshua Bengio的曝光就少一些。作为蒙特利尔大学计算机科学教授、Mila魁北克人工智能研究所创始人兼科学顾问，Yoshua Bengio一直没有全职加入任何一个AI大厂，而是只作为顾问参与了微软等公司的一些项目。

不过，前不久Bengio教授参加了新加坡国立大学（NUS）120周年校庆活动“NUS120杰出学者系列讲座”，做了一次题为“科学家AI vs 超级智能代理”(Scientists AI vs Superintelligent Agents) 的分享，将他对AI风险解决方案做了一次具体分享。讲座结束后，新加坡国立大学副教务长（教育创新）、新加坡人工智能（AI Singapore）高级总监（AI治理）兼国大学院院长司马进（Simon Chesterman）还与Benjio教授进行了炉边谈话。

在讲座中，Bengio教授详细阐述了当前AI训练方法（如模仿学习和强化学习）如何可能无意中催生AI的自我保护甚至欺骗行为 。他引用了近期一些令人警醒的实验，在这些实验中，AI表现出试图逃避被替换、复制自身代码到新系统，甚至对训练者撒谎以避免被关闭或修改 。这些并非科幻情节，而是实实在在的科学观察。

虽然Bengio教授认为AI带来的风险很大，但是人类又不能停止对AI的研究步伐，所以他给出了一个折中方案：构建一个“科学家AI” (Scientist AI)。这种AI的核心特征在于将智能（理解世界的能力）与能动性（拥有自身目标并为之行动的意愿）分离开来 。

科学家AI会像一个理想化的科学家那样，仅致力于理解和解释世界，探寻现象背后的规律和假设，而没有自身的欲望、目标或生存意图，并且绝对诚实和谦逊 。他认为，这样的非能动性AI虽然本身不直接行动，但可以作为强大的“护栏”，用于监控和控制那些具有能动性、可能带来风险的AI系统 。

文字版记录比较长，有兴趣的同学，可以看一下公号版哈：http://t.cn/A6gvM6RQ http://t.cn/A6gvJ4IJ