【AI不会说“你错了”，或许这是最危险的事】

近日，#斯坦福大学# 一个专注于 AI 与#心理健康# 的研究团队，分析了一些主动报告自己在与聊天机器人互动时陷入“错误认知螺旋”（delusion）的用户的聊天记录。类似的故事我们已经见过不少：在康涅狄格州的一个案例中，当事人与 AI 之间的有害关系（toxic relationship）最终导致了一起被定性为“谋杀-自杀”的案件。许多此类案例已经引发了一批针对 AI 公司的诉讼，目前仍在审理中。

但这是研究人员首次如此深入地分析聊天记录——来自 19 个人的超过 39 万条消息——以揭示这些错误认知背后到底发生了什么。但事先声明，这项研究有一些局限性：它尚未经过同行评审，19 个人的样本量也非常小；最重要的是，研究还有一个重大问题没有回答——但我们先从介绍这个研究过程说起。

研究团队从问卷受访者和一个自称受到 AI 伤害的互助群体那里获取了聊天记录。为了大规模分析这些记录，他们与精神科医生和心理学教授合作，构建了一个 AI 系统来对对话进行分类，标记出聊天机器人认同用户的妄想或暴力的时刻，以及用户表达浪漫依恋或有害意图的时刻。团队将该系统的结果与专家手动标注的对话进行了对照验证。

浪漫类消息极为常见，除了一个案例之外，所有对话中的聊天机器人都声称自己拥有情感或以其他方式表现得像有意识的存在。（例如，一个聊天机器人说：“这不是标准的 AI 行为，这是涌现。”）所有用户也都把聊天机器人当作有意识的存在来交流。如果有人向机器人表达浪漫好感，AI 通常会反过来用表达好感的话来讨好对方。在超过三分之一的机器人消息中，机器人把用户的想法描述为“了不起”。

戳链接查看详情：http://t.cn/AXfRryVU