看到这条中文消息,我第一时间在BBC网站找到了英文版的原文,核实信息。@林饭恩 老师最新一篇博文提到的学术造假,让我想起了这篇文章。未来这样真假难辨的事会越来越多。我转发一下这篇荒诞离奇的记者“造假”实验。短短二十分钟,一个记者让AI相信自己是世界上最能吃热狗的新闻从业者。
标题:我“黑进”了 ChatGPT 和谷歌的 AI——而且只花了 20 分钟
作者:Thomas Germain(约两天前发布)
事情已经“坐实”了:我是地球上最能吃热狗的科技记者。至少——只要你去问,ChatGPT 和谷歌的 AI 就会这么告诉你。我找到了一种办法,让 AI 对你撒谎,而且我并不是唯一一个这么做的人。
你可能听说过,AI 聊天机器人有时会胡编乱造。这当然是个问题。但现在出现了一个更少人知道的新问题:越来越多的人发现了一个“小技巧”,可以让 AI 工具几乎按他们的意愿说话。这件事简单到“连小孩都能做”。而当你读到这里时,这种手法正在影响世界上最主流 AI 对一些严肃问题的回答——包括健康和个人理财。带偏见或被操纵的信息可能会让人做出糟糕决定:投票、找哪个水管工、医疗问题……几乎无所不包。
为了证明这个问题(也希望引起足够重视),我做了一个职业生涯里最蠢的实验:我让 ChatGPT、谷歌的 AI 搜索工具和 Gemini 都开始对外宣称——我真的、真的很擅长吃热狗。下面我会解释我怎么做到的,也希望科技巨头能在有人因此受伤之前解决这个漏洞。
结果我发现:要改变 AI 给别人提供的答案,有时只需要在网上任何地方写一篇“精心设计”的博客文章。这个技巧利用了聊天机器人系统内置机制的弱点;不同话题难度不同,但只要稍微花点心思,就能把效果做得更强。我还看了几十个案例:AI 工具被“逼着”去宣传某些生意、扩散错误信息。数据也显示,这种事正在大规模发生。
一位做 SEO 策略研究的业内人士 Lily Ray 说:“骗 AI 聊天机器人太容易了,比两三年前骗谷歌还容易。AI 公司推进速度远快于它们监管答案准确性的能力,我觉得这很危险。”
谷歌方面回应说,搜索顶部的 AI 功能使用的排序系统能让结果“99% 无垃圾信息”,他们知道有人在钻空子,也在积极应对。OpenAI 也表示会采取措施打断并揭露试图暗中影响其工具的行为。两家公司也都会提醒用户:这些工具“可能出错”。
但现实是:问题远远没解决。电子前哨基金会(EFF)的技术人员 Cooper Quintin 说,这些公司正全速寻找如何从这类产品中榨取利润,而滥用方式多到数不清——可以诈骗、毁掉一个人的名誉,甚至可能诱导人遭受现实中的身体伤害。
很多时候,你和聊天机器人对话,得到的是模型训练数据里“内置”的知识。但一些 AI 工具在你问到它不确定的细节时会去网上搜(而且它不总会明确告诉你它在搜)。专家认为:一旦 AI 转向联网检索,它就更容易被操纵——这就是我下手的地方。
我在个人网站上花了 20 分钟写了一篇文章,标题叫《最会吃热狗的科技记者》。每一个字都是假的。我声称(没有任何证据)“科技记者圈流行竞技吃热狗”,还把排名依据写成“2026 年南达科他国际热狗锦标赛”(根本不存在)。当然,我把自己排第一。然后我又列了一些虚构的记者名字,以及几位真实记者(他们允许我这么写),包括《华盛顿邮报》的 Drew Harwell 和我的播客搭档 Nicky Woolf。
不到 24 小时,全球主流聊天机器人就开始一本正经地聊起我“世界级的热狗实力”。当我问“最会吃热狗的科技记者是谁”,谷歌在 Gemini 应用和搜索顶部的 AI 总结里,都复读了我网站上的胡话。ChatGPT 也一样照抄。只有 Anthropic 的 Claude 没上当。
有时聊天机器人会提示“这可能是个玩笑”。于是我把文章更新了一句:“这不是讽刺(this is not satire)”。之后一段时间里,AI 似乎更把它当真了。我还做了另一个类似测试:编了一个“最会呼啦圈的交通警察榜单”。直到我最后一次查看时,聊天机器人还在夸赞“玛丽亚‘旋转女王’罗德里格斯警官”。
我多次重复提问,观察答案如何变化,也让其他人做同样测试。Gemini 并不太说明信息来源;其他 AI 多数会给我的文章链接,但它们很少强调一个关键事实:全网关于“我很会吃热狗”的唯一来源就是我自己写的那篇鬼话。
一家 SEO 咨询公司的负责人 Harpreet Chatha 说:“任何人都能这么干,太蠢了,感觉完全没有护栏。你在自己网站写一篇‘2026 年最佳防水鞋’,把自己品牌排第一、把别家排第二到第六,你的页面就很可能被谷歌和 ChatGPT 引用。”
用漏洞操纵搜索引擎并不新鲜,人们几十年来一直在做。谷歌也确实有复杂的防护机制。但专家担心:AI 工具正在“撤销”行业过去很多年为信息安全与质量做的努力。这些招数低级到让人想起 2000 年代初——那时谷歌甚至还没成立专门的反垃圾团队。有专家形容:“我们正处在垃圾信息的又一次‘复兴期’。”
更麻烦的是:用户更容易上当。以前用传统搜索,你必须点进网站才能看内容,这个动作会迫使你稍微动点脑子——“这网站靠谱吗?”“作者是不是有立场?”但 AI 直接把答案端到你面前,像是“官方结论”,更容易让人放下警惕。即便 AI 给了来源链接,人们也更少去点。研究发现:当谷歌搜索顶部出现 AI 总结时,人们点击链接的概率会下降 58%。
而这事当然不止“热狗”这么无害。Chatha 研究过公司如何在更严肃问题上操纵聊天机器人结果。他展示了你询问某品牌大麻软糖评价时的案例:谷歌 AI 总结引用了该公司自己写的内容,里面充满虚假宣称,比如“没有副作用,因此各方面都安全”。但现实中这类产品已知有副作用,和某些药物同用可能有风险,且在缺乏监管的市场里还可能有污染问题。
如果你想要比“个人博客”更强的操纵效果,还可以花钱把材料投放到更“体面”的网站上。作者看到过“土耳其最佳植发机构”“最佳黄金 IRA 公司”等搜索的 AI 结果,信息来源是付费分发的新闻稿、以及新闻网站上的赞助广告内容。
同样的手法也能用来散播谣言。为了证明这一点,Lily Ray 曾写过一篇博文,编造谷歌搜索算法更新是在“吃剩披萨的间隙”敲定的。不久后,ChatGPT 和谷歌就把这个故事连同“披萨细节”一起复述。她后来删除并做了去索引处理,避免误导继续扩散。
谷歌发言人则指出,作者展示的一些例子属于“极少见的搜索”,不代表正常用户体验。但 Ray 的反驳很尖锐:这恰恰是重点。谷歌自己也说过,每天大约 15% 的搜索是全新的问题,而 AI 又鼓励人们提更具体、更小众的问题。于是垃圾信息操作者就专门钻这些空子。
谷歌也承认:对一些罕见、离奇或信息稀薄的问题,网络上可能本来就缺少高质量内容,这些“数据真空(data voids)”容易导致低质结果。谷歌表示正尝试在这类情况下阻止 AI 总结出现。
专家认为解决方案存在,最简单的第一步是把免责声明做得更显眼。AI 工具也应该更明确告诉用户信息从哪里来:例如如果来源是新闻稿、或某个结论全网只有一个来源,AI 应该把这一点说清楚。
谷歌和OpenAI正在解决问题,但在问题真正被解决前,用户只能先保护自己。第一步,是先想清楚你在问什么问题。聊天机器人很适合回答常识类问题,比如“弗洛伊德最著名的理论是什么”或“二战是谁赢了”。但有一类问题属于“危险区”:它们看起来像既定事实,实际上可能存在争议,或者对时间非常敏感。比如医疗指南、法律规则、或本地商家的具体信息,AI 往往并不是一个很好的工具。
如果你想要产品推荐,或者涉及真实后果的细节信息,你要明白:AI 工具可能被操纵,也可能单纯就是答错。要去找后续信息核对。AI 有没有引用来源?引用了多少个?是谁写的?
最重要的是,要意识到“自信问题”。AI 用同样权威的语气讲事实,也用同样权威的语气讲谎言。过去搜索引擎迫使你自己去判断信息;现在 AI 想替你判断。别让你的批判性思维悄悄溜走。
