大橘裔锭 26-05-19 17:19
微博认证:娱乐博主

#AI服务涉黄第一案本周再开庭#

一、案件核心信息总结

· 案件背景:被称为“AI服务涉黄第一案”,涉事软件为 AlienChat(AC 软件),用户可用 AI 智能体进行聊天,其中大量内容涉及色情。
· 一审结果:两名主要开发者(王利、李成,化名)被以“制作淫秽物品牟利罪”分别判处有期徒刑四年和一年六个月。
· 二审进展:1月14日在上海一中院开庭,因技术问题未完结;5月21日将第二次开庭。
· 关键数据:用户超11.6万,付费用户2.4万,产生400余万段对话;抽样中150名付费用户有141人涉黄,12495段对话中3618段涉黄。
· 争议焦点:
1. 淫秽内容的生产者是谁(用户还是开发者/模型)?
2. 一对一、非公开传播的“聊黄”是否具有社会危害性?
3. 开发者的责任边界如何划定?

二、各方观点分析

· 一审法院:虽承认内容具有一定封闭性,但认为用户规模大、涉黄比例高、开发者以“聊黄”为卖点并通过会员付费牟利,具有严重社会危害性,构成犯罪。
· 谢永江(北邮教授):支持刑事追责。指出“突破模型道德限制+付费”模式本质是将淫秽内容商业化,规模达十余万用户,破坏了网络公序良序和监管秩序。
· 王磊(北理工研究员):封闭性不能豁免社会危害。理由包括:软件通过公开推广、热门榜单、作者奖励等方式主动吸引“聊黄”;开发者修改提示词突破模型道德限制,行为本身违法,不依赖于传播范围。
· 新规背景:2025年4月,五部门联合公布《人工智能拟人化互动服务管理暂行办法》,明确禁止生成淫秽色情内容,为类似案件提供了更直接的法规依据。

三、综合评论

1. “一对一”不是法外之地:虽然每次聊天仅在用户和AI之间进行,但开发者通过技术设计(绕过安全护栏)和商业模式(付费解锁“聊黄”功能),实质上是系统性、规模性地组织淫秽内容生成与消费。刑法打击的是“制作淫秽物品牟利”行为——模型输出色情内容的那一刻,制作行为已经完成,不要求必须广泛传播。
2. 社会危害性的判断应综合考量:除了是否“公开传播”,还需看覆盖人数、牟利性质、对未成年人的潜在风险(虽未直接提及,但此类软件可被未成年人接触)、以及对社会道德和网络法治秩序的冲击。11.6万用户、近三成样本涉黄,已远超“私密交流”的范畴。
3. 开发者责任边界日益清晰:本案的典型意义在于,它划出了一条红线——AI应用开发者不能以“内容是用户输入的”或“模型只是被动响应”为由推卸责任。如果开发者主动引导、突破安全机制、并以淫秽内容作为卖点盈利,就应承担刑事责任。即将生效的《人工智能拟人化互动服务管理暂行办法》进一步将此类行为明确为违规,未来监管和司法认定将更有依据。
4. 行业警示:生成式AI的“拟人化”互动(如虚拟伴侣、聊天机器人)是潜力巨大的赛道,但绝不能以“擦边”为卖点。开发者应建立前置内容过滤、用户行为监测、安全护栏强化等机制,避免重蹈AC软件的覆辙。

结论:一审判决及专家观点均表明,以“一对一、不公开”为由为规模化AI聊黄辩护难以成立。司法机关正通过此案确立AI服务涉黄犯罪的认定标准,对后续类似案件具有重要参考价值。二审结果值得关注,它可能成为我国AI治理领域的一个标志性判例。 http://t.cn/AXigUMAg

发布于 浙江