【#用户与AI聊黄开发者获刑4年# 淫秽内容的生产者到底是谁?】#国内首起AI服务涉黄判刑案二审在即# 因为大量用户在APP上与AI智能体“聊黄”,APP的主要开发和运营者被追究了刑责。2025年9月,上海市徐汇区人民法院一审判决,两名被告人犯制作淫秽物品牟利罪,分别获刑四年、一年半。此案成为国内首起AI服务提供者涉黄获刑的案件。新京报记者获悉,两名被告人不服判决提出上诉,案件二审将于1月14日在上海市第一中级人民法院开庭。
案涉APP Alien Chat(以下简称AC)是一款AI伴侣聊天应用,定位是为年轻群体提供亲密陪伴和情感支持。用户在AC注册会员后,可与AI聊天。其中,高频次、大比例的聊天记录,在案发后被法院认定为淫秽物品。2024年4月,因用户举报,王某某和李某某(两名被告人均为化姓)二人被捕,AC停止服务。有人把此案称作AI时代的“快播案”,在AI快速迭代的当下,新技术与法律的边界问题被推向了公众视野:用户在APP上与AI聊黄,是否有社会危害性?这些淫秽色情内容的生产者到底是谁?本案中的APP服务提供者和开发者,是否构成刑事犯罪,适用什么罪名?
有观点认为,用户和AI聊黄,场景是私密和封闭的,没有社会危害性。
AC案的一审法院也认可案中色情聊天不具有典型的“传播”性——“因为色情聊天内容是人机互动时产生的、一对一的,通常情况下涉案色情聊天内容仅有与AI对话的用户能看到,具有一定的封闭性。”
但鉴于对“淫秽物品的数量、会员人数、收费金额”等因素综合评估,法院认为两被告人的行为具有社会危害性。一审判决书显示,有高比例的用户在AC上高频率聊黄。经公安机关抽样鉴定,150个收费用户的12495段聊天中,有141个用户的3618段属于淫秽物品。
多名法律学者均认为,在AC案中,社会危害性是存在的。一位专注人工智能治理领域的法律学者解释,AC的服务提供者创建了一种产品环境,放任大量违法内容产生。在现行法律框架下,当聊黄这种私密行为通过一个缺乏管控、以营利为目的的平台被大规模、系统性地实现时,就不再仅是个人私事,它的社会危害性就被法律所认定,AC的服务提供者也要为此承担安全治理的责任和义务。
本案中,关于罪名里“制作淫秽物品”行为主体的认定,也在刑法学者之中引发争议——涉案淫秽聊天内容的“制作者”是谁?是用户、是AI?还是软件的开发者和服务提供者?
新京报了解到,侦查机关追究了一名AC用户的刑事责任。该用户创建角色并公开,角色进入热门榜单前二十,且输出过淫秽聊天内容,还因角色进榜获得平台虚拟货币奖励,因此被以制作淫秽物品牟利罪取保候审。
一审法院认为,本案中,王某某、李某某是淫秽聊天的制作者。AC软件是专门为持续生成淫秽色情内容而设计和“优化”的,AC软件向用户输出的聊天内容是高度可控且可预测的,“王某某等人对于输出内容具有实质性控制能力。”
也有刑法学者对此表达了异议。中国政法大学刑事司法学院教授王志远认为,智能伴侣软件开发者显然没有直接参与淫秽物品的制作过程,不是淫秽物品的制作者。“即使开发者主观上认识、追求或放任用户在与AI聊天软件互动过程中生成淫秽物品,但他的客观行为仅限于对软件的开发设计,因此他应受谴责程度也无法与直接制作淫秽物品者相提并论。”更多详细内容请查看原文>>http://t.cn/AXbsKfoV http://t.cn/AXbFuO62
