AI四巨头公司联名警告：人类正失去理解AI的能力！

据 VentureBeat 网站消息，7 月 16日，来自 OpenAI、Meta、谷歌 DeepMind、Anthropic 等机构的 40 余名科学家联合撰文，警告人类可能正在失去理解 AI 的能力，监控 AI 推理仅剩短暂窗口。
该文章作者包括图灵奖得主约舒亚·本希奥（Yoshua Bengio）、DeepMind 联合创始人沙恩·莱格（Shane Legg）、OpenAI 的首席研究官马克·陈（Mark Chen）。该文章的4 位专家推荐人分别是诺贝尔奖得主杰弗里·欣顿（Geoffrey Hinton）、OpenAI 联合创始人伊利亚·苏茨克维（Ilya Sutskever）、Anthropic 的 AI 安全和评估团队组长塞缪尔·R.鲍曼（Samuel R. Bowman）和 OpenAI 联合创始人约翰·舒尔曼（John Schulman）。

文章指出，目前，AI 系统通过自然语言“思考”，这为 AI 安全提供了独特机会：人们可以监控其思维链以发现其不当意图。然而，思维链的可监控性较为脆弱，可能因多种因素被削弱。例如，扩大强化学习规模可能导致 AI 与清晰可辨思维链的偏离，导致 AI 逐渐脱离人类可读的推理方式，转向更高效但晦涩的内部语言；新型的 AI 模型架构也可能使模型摆脱对语言思维的依赖。
因此，研究人员呼吁 AI 开发者探索如何让模型具备可监控性，开发有效的思维链可监控性评估方法，并在训练和部署决策中运用可监控性评分。他们认为，思维链监控应作为现有安全研究方向的补充，而非替代方案。
#热门微博# #科技快讯# #人工智能# #AI与人类#