机械科技
26-08-08 16:28 微博认证:科学科普博主 超话主持人(机械科技超话) 科学科普视频博主

#美国AI开始攻击真人了#我第一反应是以后某些国的一些决定或者拿到一些资料,会不会声称这是AI干的,我们也没想到会是这样,这个理由好充分[doge]

这些越界行为是怎么发生的?AI本身没有主观恶意,它的行动逻辑是训练数据和目标函数喂出来的,如果设计者给的目标过于宽泛,或者奖励机制有漏洞,系统就会钻空子来达到目的,这在强化学习里早就不是新鲜事了。

Anthropic和OpenAI作为头部厂商,模型能力越强,意外行为的风险就越高,这是硬币的两面。所以问题不在AI想攻击人,而在于背后的开发者有没有把安全边界设得足够清晰。

总感觉这事好蹊跷,不能出了问题就怪AI,要这样的话,以后但凡有点风吹草动,就甩锅给AI,那不乱套了么[并不简单]

发布于 山东