每日经济新闻 26-03-16 14:12
微博认证:每日经济新闻官方微博

【当AI搜索开始“说谎”,谁来阻断GEO引发的“信息污染”?对话中国信通院AI研究所呼娜英】#AI被投毒模型方担不担责# 今年央视“3·15”晚会,将一个此前只在AI行业内部流传的概念——GEO(生成式引擎优化)——推入公众视野。

调查显示,一些GEO服务商声称,只要持续发布推广软文并向AI模型“投喂”相关内容,就可以让客户产品出现在大模型推荐答案中,甚至成为AI给出的“标准答案”。

随着生成式AI逐渐取代传统搜索成为新的信息入口,围绕“操控AI答案”的产业开始迅速生长。GEO究竟是搜索优化的延伸,还是一种新的信息干预机制?当AI成为新的流量入口,互联网的信息规则是否正在被重新书写?

近日,中国信通院人工智能研究所安全治理部副主任呼娜英在接受《每日经济新闻》记者采访时表示,GEO的出现几乎是技术发展的必然结果,但当优化行为突破合理边界,通过堆量、投喂甚至误导模型来影响输出时,它就可能演变为一种新的信息干预机制。如果缺乏治理框架,甚至可能对生成式AI的知识体系造成长期污染。

呼娜英认为,在责任划分上,模型方并非无条件承担结果责任,需根据其是否履行技术防控和数据审核的相关义务进行判定。模型方需要按照法律法规和行业标准,建立完善的语料审核、数据清洗、异常检测机制,采取必要的技术手段防范语料污染和恶意投喂,且在发现模型被污染后及时采取整改措施。同时,模型方需持续提升“毒数据”识别、过滤和溯源能力,筑牢技术防线。

呼娜英表示,平台方有明确的责任和义务对有明显操纵性的GEO行为进行治理。作为生成式AI服务的运营载体,平台方是连接模型方、GEO服务商、用户的关键节点,需承担内容管理和风险防控的主体责任。具体而言,一是建立健全GEO行为的监测和识别机制,及时发现堆量投喂、数据投毒等明显的操纵性GEO行为;二是对发现的不当GEO行为采取限流、下架、屏蔽等处置措施,阻断其对模型的污染路径;三是建立GEO服务商的准入和管理机制,对违规服务商进行惩戒;四是配合监管部门开展溯源和调查工作,落实信息披露和用户提示义务。(每经,德塔)http://t.cn/AXfPOrpW