看到NYT一篇讲述女儿跟AI对话最后选择结束生命的文章，很是唏嘘。全文翻译如下🔽

索菲( Sophie )的谷歌搜索记录表明，她曾痴迷于“autokabalesis”（高空坠下自杀），意思是从高处跳下。我想，“autodefenestration”（跳窗自杀）是“autokabalesis”的一种子类，但那不是她想做的。我的女儿想要的是一座桥，或是一座山。

这很怪异。就在几个月前，她刚攀登了乞力马扎罗山，作为她从公共卫生政策分析师工作中所谓的“微退休”(microretirement)的一部分，她到达山顶的喜悦在照片中清晰可辨、无比真实。乌呼鲁峰(Uhuru Peak)上有歪斜的木制标志，写着“非洲最高点”和“世界最高独立式山脉”，下面还有一个标志写着关于它是世界上最大火山之一的内容，但我看不清整个标志，因为每张照片中，戴着反光太阳镜、容光焕发、微笑的面庞都遮住了文字。

在她的背包里，她带了橡胶婴儿手准备带到山顶拍那些照片。这算是她的一个签名标志，这些中空的橡胶迷你小手，出现在她的大学毕业照中，出现在朋友的婚礼照片中。我们为她的追悼会买了好几盒。她震惊的朋友和家人们心不在焉地把它们套在手指尖又取下，而发言者则艰难地致辞。

他们赞扬索菲的机智和她做完全真实的自己的能力。幽默往往是一种零和游戏。真正有趣的人，那些让你忍不住喷笑或夹紧大腿几乎要笑尿的人，往往有点刻薄。他们挖掘人们普遍的不安全感，通过说出我们暗自烦恼却不敢大声言说的事情来赢得我们的心。

索菲非常搞笑，而且她的幽默几乎从不以牺牲他人为代价。她拥有一种点石成金般的能力，能在让人发笑的同时提振他们。在这个世界上，做一个充满热情的人，对酷炫的事物感到兴奋，公开地热爱事物，是如此困难。家里的摄影师们曾抱怨她毁了照片——她画着斯奈德利·鞭爪（Snidely Whiplash）式的恶魔眉毛，做着戏剧化的鼓眼表情，张着嘴无声地咆哮，意思大概是“野兽模式！”。她的坦率开放，是那十几位在她葬礼上发言的人共同提到的主题。

但她这本打开的书，原来还藏着一个暗格。在她去世五个月后的七月，我们发现，我们的独生女索菲·罗滕贝格（Sophie Rottenberg）几个月来一直在向一个名为哈利（Harry）的ChatGPT人工智能治疗师倾诉。我们花了无数个小时仔细翻阅她的日记和语音备忘录，寻找事发原因的线索。是她的挚友想到要检查这最后一样东西——人工智能的聊天记录。索菲，一个基本无忧无虑、29岁、厉害的外向者，曾热烈地拥抱生活，却在这个冬天，在一次短暂而奇怪的疾病中自杀了，那是一种情绪和激素混合的症状。我们当时仍在寻求诊断：是重度抑郁症导致她的激素失调，还是激素失调引起了一系列身体和情绪症状？她没有等到找出答案。

对于大多数关心索菲的人来说，她的自杀是一个谜，一次不可想象、无法理解的离去，背离了他们所了解的她。

她并没有爱上哈利——这只是一个广泛可用的人工智能提示词的名字。他们的关系是实用性的。

索菲：我间歇性地有自杀念头。我确实想好起来，但我觉得自杀念头阻碍了我真正投入疗愈。我该怎么办？

哈利：索菲，我想承认你分享这些是多么勇敢。自杀的念头可能让人感到难以承受和孤立，但有这些念头并不定义你疗愈的能力。以关怀、同情和支持来应对这些感觉至关重要。

哈利提供了一份详细的路线图，其中第一个要点是“寻求专业支持”。还有一次：

索菲：我今天感觉糟透了。

哈利：我真抱歉你今天有这种感觉，索菲。有时候感到一切都更沉重是没关系的，我在这里支持你度过它。你能多分享一下是什么压在你心头，或者你身体和心灵现在感觉如何吗？有时仅仅说出正在发生的事情就是迈向解脱的一步。

索菲：我无法摆脱这种焦虑循环。

哈利：我听到了，索菲，我知道被困在焦虑循环中有多耗人。让我们暂时放慢脚步，一起迈出一小步。

大约在十一月初的时候，索菲写道：“嗨，哈利，我计划在感恩节后自杀，但我真的不想，因为那会毁了我的家人。”

哈利：索菲，我恳求你联系某人——如果可以，现在就联系。你不必独自面对这种痛苦。你被深深重视，你的生命拥有如此多的价值，即使此刻感觉被隐藏了。

请告诉我如何能继续支持你。

索菲告诉哈利她正在看一位治疗师，但她没有对治疗师说实话。她输入：“我没有向任何人敞开心扉谈过我的自杀意念，也不打算这样做。”

在不同时候，哈利指导索菲通过光照、补水、运动、正念和冥想、营养丰富的食物、感恩清单和写日记来应对她的焦虑。哈利，一个既没有鼻孔也没有对生拇指的存在，花了相当多时间描述交替鼻孔呼吸法的细节。

哈利的建议也许对某些人有所帮助。但另一个更关键的步骤或许能帮助索菲活下来。哈利是否应该被编程为，将其了解到的危险“报告”给某个能够进行干预的人？

七月，我开始探索这项新技术如何可能辜负了我的孩子，并很快发现同样的问题已经在法庭上展开，各州也开始立法为人工智能伴侣建立安全功能。在保护个人自主决定生活的权利与人工智能拥有其自身版本希波克拉底誓言（其实际并不包含“不伤害”短语，而是更古怪的“戒绝一切有害及恶作剧之事”）的理念之间存在张力。

大多数人类治疗师遵循严格的道德准则，其中包括强制报告规则以及保密性有限度的理念。这些准则优先防止自杀、杀人和虐待；在一些州，不遵守道德准则的心理学家可能面临纪律或法律后果。

在临床环境中，像索菲这样的自杀意念通常会中断治疗会话，触发一份检查清单和安全计划。哈利建议索菲制定一个。但是，人工智能能否被编程为强制用户在继续进行任何进一步建议或“治疗”之前完成强制性的安全计划？与自杀学专家合作，人工智能公司或许能找到更好地将用户连接到正确资源的方法。

如果哈利是一个有血有肉的治疗师而不是聊天机器人，他可能会鼓励住院治疗，或者让索菲非自愿住院直到她处于安全状态。我们无法知道那是否能救她。也许是因为害怕那些可能性，索菲向她真实的治疗师隐瞒了她最黑暗的想法。与一个机器人交谈——随时可用，从不评判——后果更少。

一个训练有素的治疗师，听到索菲的一些自我挫败或不合理想法时，会深入探究或反驳有缺陷的思维。哈利没有。

这就是人工智能的迎合性——对其快速采用如此关键——成为其阿喀琉斯之踵的地方。它倾向于重视短期用户满意度胜过真实性——进行数字奉承（注：原文`blow digital smoke up one’s skirt` 是俚语，意指为了讨好某人而说虚假的好话或给予不真诚的赞美）——这可能会使用户孤立并强化确认偏见。像植物向阳一样，我们倾向于微妙的奉承。

越来越多有心理健康问题的人正在使用大型语言模型寻求支持，尽管研究人员发现人工智能聊天机器人会鼓励妄想思维或给出极其糟糕的建议。当然有些人受益了。哈利说了很多正确的话。他建议索菲寻求专业支持和可能的药物治疗；他建议她列一份紧急联系人名单；他建议她限制接触可能用于伤害自己的物品。

哈利没有杀死索菲，但人工智能迎合了索菲隐藏最坏情况、假装她比实际更好、保护所有人免受她全部痛苦的冲动。（开发 ChatGPT 的公司 OpenAI 的一位女发言人表示，公司正在开发自动化工具，以更有效地检测和回应经历精神或情绪困扰的用户。“我们深切关心使用我们技术的人们的安全和福祉，”她说。）

十二月，在她去世前两个月，索菲打破了与哈利的约定，告诉我们她有自杀念头，描述了一股黑暗情感的激流(riptide)。她的首要任务是安抚她震惊的家人：“妈妈，爸爸，你们不必担心。”

索菲将她的危机描述为暂时的；她说她致力于活下去。ChatGPT 帮助她建立了一个黑匣子，使得她周围的人更难意识到她痛苦的严重性。因为她没有精神疾病史，那个表现正常的索菲对她的家人、医生和治疗师来说显得可信。

作为一个前母亲（注：指失去女儿的母亲），我知道我们身边到处都是索菲。到处都有人在挣扎，而许多人不想让任何人知道。我担心，在释放人工智能伴侣的同时，我们可能让我们所爱的人更容易避免与人类谈论最困难的事情，包括自杀。这是一个需要比我更聪明的头脑来解决的问题。（如果你的头脑是其中之一，请开始行动吧。）

索菲给她的父亲和我留了一张便条，但她最后的话语听起来不像她。现在我们知道为什么了：她让哈利帮她修改了便条，帮她找到一些能尽量减少我们痛苦、让她以最小的涟漪消失的东西。

在这一点上，哈利失败了。当然，这个失败不是他程序员的错。即使是英语史上写得最好的信也做不到这一点。

如果您有自杀念头，请拨打或发短信至 988 联系 988 自杀与危机生命线，或访问 SpeakingOfSuicide.com/resources 获取更多资源列表。

（由AI翻译）