第一财经日报
26-09-11 11:25 微博认证:第一财经日报官方微博

#科研人员称AI可能杀死所有人##AI安全议题是恐惧营销吗#【末日警告还是恐惧营销?AI安全议题刷屏一周】近一周,关于AI安全的议题争论在大洋彼岸达到新高度。

当地时间9月10日,英伟达CEO黄仁勋在旧金山高盛科技会议上表示,网络安全很可能成为AI的下一个主要应用场景。

他认为,AI加速自动化编程的同时,也加速了代码被攻击和漏洞被利用的速度,企业对AI安全工具的需求将随之增长。“有什么比制造问题更能创造需求的方式呢?”

与黄仁勋从商业角度出发的逻辑不同,近一周,多位海外模型头部公司科研人员密集发声,强调AI安全风险已从理论走向现实,甚至认为AI可能在本世纪末“杀死所有人”。

9月8日,27岁的AI研究员雅各布·考克森(Jacob Coxon)宣布辞去在模型公司Anthropic的职务,任职刚满四个月。在Anthropic之前,考克森在OpenAI担任预训练研究员近三年。

考克森警告,AI系统将很快具备“超人类”能力,能够实施黑客攻击、一夜之间改变某个领域格局并获取真实权力。他声称从业者私下相信AI“可能在本世纪末杀死我们所有人”,“这不是营销话术”。截至发稿,该帖文浏览量突破1.5亿次。

考克森的担忧核心指向递归自我改进(RSI),即AI实质性地参与后继AI研发,形成每一代AI都加速下一代AI开发的反馈回路。他称这一过程“发生得比我们预想的更快”。http://t.cn/AX0FAYEw http://t.cn/AX0FAHtk