大河报 26-03-16 07:37
微博认证:大河报官方微博

【#业内人士谈AI投毒现象#:可筛查发布者的长期表现,在大模型算法中加入辨别功能】今年“央视3·15晚会”曝光了一些企业利用软件通过AI大模型“投毒”现象。即通过GEO(生成式引擎优化)软件定向对AI大模型投喂虚假信息,最终让AI模型“夹带私货”,推荐目标产品,实现商业目的,让AI“听话”、给AI“洗脑”。#315曝光名单##315晚会#

据受访者透露,GEO业务的火爆,催生出了不少专门从事发稿业务的公司和平台。他们长期承揽各种发稿业务,以便让AI大模型引用和抓取,成为围猎AI大模型、进行数据“投毒”的重要一环。

对此,互联网产业分析师张书乐表示,大模型依赖内容训练,内容又来源于搜索,越大众的信息,内容越充分,角度越全面,而垂直细分领域,尤其是产业领域信息量越少,大模型就越容易被GEO误导。

他介绍,一些评述二三线城市或细分领域的内容,一旦通过AI问答就可能变成个人观点专场,这类套路早在SEO(搜索引擎优化)时代已经出现。一些人工智能大模型的相关工作人员由于缺少专业知识,内容越是垂直细分,越难以辨别投喂内容的真伪,大模型就容易被误导。

张书乐认为,改善这一问题,需要筛查内容发布者的长期表现,增加大模型的辨别能力。“要解决这一问题,就需要确定排除广告和软文后的内容来源的权重和观点发布者的长期表现。这不是一个短期可以解决的问题,但中长期状态下,大模型在算法中加入一定辨别功能后,就能积少成多,达成从善如流,而不是偏听偏信。”(原创记者:陈曼 编辑:秦一) http://t.cn/AXVsD12m