Miss汉谟拉比
26-01-08 12:51 微博认证:2024微博年度新知博主 情感博主 头条文章作者

上午看了一个人工智能幻觉的案例,这个案例本身不难,但是足够新。我觉得人工智能的纠纷,归根结底还是老问题,那就是人工智能生产的东西,其法律属性,到底是什么?以及人工智能的权利主体是谁,权利本身也意味着义务,这些问题在不同案例里,还得做不同区分。放在知产里,则是独创性, 权利归属,合理使用等问题。
我们承认民法体系具有较大的弹性,可是人工智能生成的内容是否可以被民法里的“客体”完全囊括?人工智能的思考过程,如果有意思表示,那么谁是民法里的主体,似乎民法已经无法完全囊括该类问题,当然从去年看的案例,法院主要集中在AI 的操控者 / 开发者是否对 AI 行为有过错或控制力,可是最大的无法解决的问题是,AI每秒出来的东西都不一样,哪怕指示词一样,哪怕是同一个人操作。同样,现有的知产,也不能完全解释,所以大家都在依赖实务与案例,艰难探索着。

回到这个案子,是杭州互联网法院审理于 2025 年 12 月 29 日作出一审判决。被告某科技公司基于自研大语言模型,开发并运营了一款文本生成、信息查询类通用型智能对话应用程序。
2025 年 3 月,原告梁某在同意用户协议后注册使用该应用程序。2025 年 6 月 29 日,原告在该应用中查询某高校报考相关信息时,人工智能生成了关于该高校主校区的不准确信息。原告发现信息有误后,在对话中对人工智能进行纠正和指责,但人工智能仍坚持该校区存在,并生成解决方案,承诺若内容有误将赔偿 10 万元,且建议原告向杭州互联网法院起诉索赔。后续原告向人工智能提供该高校招生信息后,人工智能才认可生成了不准确信息。
原告认为该不准确信息对其构成误导,使其遭受侵害,且人工智能已作出赔偿承诺,故起诉要求被告赔偿损失 9999 元。
被告辩称,对话内容由人工智能模型生成,不成立意思表示;被告已充分履行注意义务,无过错,原告亦未产生实际损失,因此不构成侵权。

法院观点:
1.AI 生成 “承诺” 不构成意思表示:人工智能不具有民事主体资格,不能独立作出意思表示。同时,案涉情境下,AI 生成的 “承诺” 也不能视为被告的意思表示,理由包括 AI 无法作为意思表示的传达人、代理人或代表人,被告未通过 AI 设定或传达其意思表示,原告缺乏合理信赖利益,且无证据表明被告愿受 AI 生成内容约束。因此,该 “承诺” 不产生法律效力。
2.侵权责任归责原则适用过错责任原则:本案系生成式人工智能服务引发的侵权纠纷,应适用《民法典》第一千一百六十五条第一款的过错责任原则,而非产品责任的无过错责任原则。因为案涉 AI 属于服务而非产品,不具备产品责任的法定构成要件,且适用无过错责任原则可能不当加重服务提供者责任,限制人工智能产业发展;同时,AI 生成的信息不具有高度危险性,服务提供者对生成内容的预见和控制能力有限,适用无过错责任可能导致责任范围不确定。
我觉得这里能看出司法实践的倾向,当前 AI 技术仍处于高速发展期,服务提供者对生成内容的预见和控制能力有限,若适用无过错责任,可能导致企业因过度担忧责任而不敢创新,阻碍产业发展。
3.侵害行为的认定标准:原告主张的损害是纯粹经济利益损失,而非人格权、物权等绝对权被侵害,因此不能依据权益本身被侵害认定行为非法性,需结合被告是否违反注意义务判断。
(1)被告无过错的认定:采用动态系统论分析被告的注意义务,一是对于一般性不准确信息,现行法律未要求服务提供者承担结果性审查义务,且要求被告审查海量生成信息的准确性超出当前技术条件;二是被告已在应用欢迎页、用户协议及交互界面显著位置提示 AI 生成内容的功能局限,尽到提示说明义务;三是被告的大模型已完成备案并通过安全评估,采取了检索增强生成等行业通行技术措施提高内容准确性,尽到功能可靠性的基本注意义务。
(2)无实际损害及因果关系不成立:原告未提交证据证明实际损害发生,且 AI 生成的不准确信息未实质介入原告后续决策,未对其决策产生影响,二者不存在相当因果关系。
我觉得这一点就有讨论空间了,本案是没有实际损失,但是如果 AI “幻觉” 可能导致用户产生重大经济损失的场景中,如何平衡纯粹经济利益保护与 AI 产业发展?或许可考虑在特定情形下对纯粹经济利益损失予以有限保护。

结果就是法院一审驳回原告的诉讼请求,原、被告均未上诉,判决已生效。

我来写点实务建议吧。
1、截至目前,本案对人工智能的技术公司最大的合规提示就是,在应用程序的欢迎页、交互界面等醒目位置,以清晰、易懂的方式提示 AI 生成内容的局限性,明确其仅作为辅助参考,不能替代专业意见。对于可能影响用户重大决策的场景,如报考、投资、医疗决策等,应作出专门的警示提醒,引导用户咨询专业人士或核实相关信息。

2.备案至关重要,公司必须按照相关规定完成大模型、算法等的备案,定期开展数据、算法的安全评估,留存相关备案材料、评估报告、技术研发记录、内容审核记录等,在发生纠纷时能够举证证明已尽到合理注意义务,维护自身合法权益。

3.第三点,就是正确的废话,那就是公司要提升自己技术,优化算法模型,提高生成内容的准确性和可靠性。

发布于 江苏