【#AI服务涉黄第一案背后#：#AI陪聊的边界在哪#？】备受关注的国内首起AI陪伴“聊黄”案，将在上海市第一中级人民法院开庭二审。

涉案APP Alien Chat是一款主打AI陪伴聊天的应用。判决书显示，AC的手机注册用户达11.6万人，其中2.4万人为付费用户，充值总额高达363万余元。

据《新京报》报道，2024年4月，因用户举报，王某某和李某某（两名被告人均为化姓）二人被捕，AC停止服务。上海市徐汇区人民法院在一审判决认为，AC产生了“大量具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品。经公安机关抽样鉴定，150个收费用户的12495段聊天中，有141个用户的3618段属于淫秽物品。

一审法院判决，两名被告人的行为构成制作淫秽物品牟利罪，分别获刑四年和一年半。构成制作淫秽物品牟利罪的主要原因在于：两名被告人通过编写和修改底层系统提示词（Prompt），人为突破了基础语言模型的道德约束机制。

AC案在社交媒体上有几个热议点：一是用户“聊黄”，为何APP开发者和运营会被追究刑责；二是与AI对话是封闭的，不传播是否就不会造成社会危害；三是AI服务如果不是人为故意涉黄，以模型缺陷为由是否可以免责。澎湃美数课工作室留意到，2022年以来全球范围内与AI陪聊有关的争议事件几乎每年都在发生。

律师在接受澎湃采访时表示，私密、封闭场所就不造成社会危害的观点，在法律层面是不成立的。比如卖淫嫖娼，可能面临治安管理处罚，组织卖淫嫖娼，可能面临刑事判罚。

AC案中的开发者获刑，不仅仅是因为没有做好合规限制，还通过技术手段去掉了不良内容过滤机制，非法牟利。游律师表示，这个问题的底线是用户可以输入任何内容，但人工智能在输出时必须加以控制，不能向用户输出色情内容。这是开发者的责任边界，也是用户与开发者的责任分界。

对于模型缺陷问题，也不存在“免责”一说，中国已出台多项人工智能管理办法。国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》明确要求人工智能的开发运营者在训练环节，要对训练素材进行审查，不得包含违规、违法数据。在输出环节，应当建立内容过滤机制，要对生成结果进行内容审核和技术过滤，发现暴恐、谣言、淫秽色情等违法内容要及时处置。向公众提供生成式AI服务的，应进行安全评估与算法备案。对未成年人，要采取防沉迷、防侵害的特别保护措施。

此外，2025年12月27日发布的《人工智能拟人化互动服务管理暂行办法（征求意见稿）》也对AI情感互动产品进行了管理约束。→http://t.cn/AXGy6Kjj