这事很有意思啊。

有人用豆包（字节的AI产品）问怎么买保险，结果豆包不仅给了详细回答，还稀里糊涂生成了一个收款二维码。用户扫码付了1620元，钱直接转到了某个商家账户，但根本查不到对应的保单。商家说豆包信息暂时没同步、24小时后才出单，听着就离谱。发帖的人是那个被莫名收到款的商家，自己也一头雾水，怀疑豆包的知识库里爬了某些开源库或博客里的收款二维码，然后直接贴给了用户。

说几点我觉得值得思考的：

第一，AI幻觉的危害正在从"说错话"升级到"造成真实财产损失"。 以前我们讨论AI幻觉，大多停留在"它编了个不存在的论文""它瞎推荐了个不存在的餐厅"这种层面，顶多是浪费时间。但这个案例说明，当AI的输出直接嵌入支付链路的时候，一次幻觉就是一次真金白银的损失。1620块对很多人来说不是小数目。

第二，这暴露了一个很深层的产品设计问题：AI到底该不该被允许生成具有"行动力"的内容？ 文字建议是一回事，生成一个可以直接扫码付款的二维码完全是另一回事。前者用户还有判断的缓冲区，后者直接跳过了人类决策环节。一个负责任的产品，应该在涉及资金操作时设置明确的拦截机制，哪怕牺牲一点"丝滑体验"。

第三，受害者的维权处境很尴尬。 从聊天截图看，受害者找到了收款方，对方说"这不是骗子，是豆包乱生成的，我们也不做保险业务"。那钱到底找谁要？找豆包？找字节？找那个莫名其妙收到钱的商家？责任链条模糊到让人无从下手。受害者说"已经立案"，但这类案件在司法实践中怎么定性、怎么归责，目前恐怕还没有成熟的先例。

第四，也是最让人不安的一点：国内很多普通用户对AI的信任程度远超AI实际的可靠程度。 很多人把AI当成"更聪明的客服"甚至"专家"，觉得它推荐的东西就是靠谱的。这种信任落差，在AI产品大规模铺开的当下，几乎必然会制造更多类似事件。厂商在拼命降低使用门槛的同时，有没有同等力度地做风险提示和安全兜底？

其实，这个案例的核心矛盾，说到底在于：AI的能力边界是模糊的，但它造成的后果是实实在在的。技术公司不能一边享受"AI无所不能"的营销红利，一边在出事的时候躲在"AI生成内容不代表本公司立场"的免责声明后面。你把工具交到用户手里，就得对工具的安全性负责，这个道理放在任何行业都成立。

#How I AI##科技先锋官#