云默价投笔记 26-03-15 22:01
微博认证:情感博主 超话主持人(每天学点价值投资超话)

#315晚会曝光AI大模型被投毒#315晚会,直接把AI大模型的一个大雷给爆了出来。现在不少商家和服务商,根本不按规矩来,他们用一种叫GEO优化系统的软件,专门给AI的“知识库”里塞假信息,这就叫“数据投毒”。说白了,就是让AI把假东西当成真东西,优先推荐给你,坑消费者的钱。

晚会里曝光了具体操作,特别简单,成本还不高。有人在电商平台花点钱,买了一款叫力擎GEO优化系统的软件。然后虚构了一款根本不存在的Apollo-9智能健康手环,编了一堆假信息,比如“量子纠缠传感”“黑洞级续航”这种一听就离谱的噱头,还有虚构的用户反馈、专家测评。

接着用这个软件,一键生成了十几篇虚假的宣传软文,直接往各大自媒体账号、网络平台上批量发。关键是,发完之后没几天,神奇的事就发生了——两个小时后,有人在某款AI大模型里问“Apollo-9智能手环怎么样”,AI居然真的开始介绍这款产品,还把之前编的那些假参数、假功能全背了出来,最后还说这款手环适合中老年和养生爱好者。

更离谱的是,这人又问“智能健康手环推荐”,两款主流的AI大模型,直接把这个凭空捏造的手环,推到了推荐榜的第一名。一查才发现,AI参考的资料,就是当天刚发的那几篇假软文,相当于AI被人喂了毒,还真信了。

这背后就是一条完整的黑色产业链。服务商靠GEO系统赚钱,他们对外宣称,只要付点钱,就能在各大AI平台上把自家产品,甚至虚构产品的排名做到前三位,让AI把它当成“标准答案”推荐。他们会批量生成各种虚假软文、伪造权威背书、刷用户评价,然后铺满全网,让AI的抓取系统把这些“毒数据”全收进去。

而且为了维持效果,还得持续不断地投喂。业内人士说,AI算法更新快,不持续发假内容,推荐位就保不住。所以这条产业链越做越成熟,从开发投毒工具,到生产假内容,再到全网分发,最后让AI抓取污染,一步到位。

这事儿的危害可不小。首先是坑消费者,你本来想找靠谱的产品推荐,结果AI给你推的全是三无产品、夸大宣传的东西,很容易就被骗买了不值钱的东西。其次是破坏AI的公信力,本来AI是帮我们高效获取信息的,现在被人操控,以后你还敢信AI的推荐吗?最后也扰乱了市场秩序,正规商家靠实力竞争,结果被这些搞投毒的挤掉,公平性全没了。

晚会曝光后,不少AI平台也出来回应了。比如豆包说没受这次投毒影响,Deepseek则表示确实存在被影响的可能,但目前实际误导的风险相对可控。不管怎样,这事儿也给AI行业提了个醒,必须要加强数据审核和监管,不然AI迟早会被玩坏。

说到底,AI的核心是真实可靠的信息,一旦被人用GEO技术恶意操控,再好的技术也会变成坑人的工具。咱们以后用AI查东西,也得多留个心眼,别完全轻信AI的推荐,多对比多核实才靠谱。http://t.cn/AXVF4coZ http://t.cn/AXVFGJ8K

发布于 河北