顾玺曦律师
26-05-11 16:04 微博认证:上海申浩律师事务所 律师 法律博主

#多款AI虚拟伴侣充斥黑丝露乳角色##定制涉黄擦边虚拟伴侣仅需13块##律师说法#

五部门刚公布《人工智能拟人化互动服务管理暂行办法》,红线画得明明白白,那边App上黑丝露乳的角色照挂不误。

办法七月十五号才生效,但这不代表现在就没有法律管。

去年上海徐汇法院已经判了国内首例AI服务涉黄案——AC软件的开发者因制作淫秽物品牟利罪获刑四年,运营者获刑一年半。

法院认定的逻辑很清楚:你编写系统提示词,专门突破大模型的安全限制,让AI能持续输出淫秽内容,这不是技术中立,这是制作。

从法律角度分层拆开来讲下。

第一层,平台预设黑丝露乳角色、暴力小三剧情。如果明知这些角色会生成淫秽内容而放任甚至鼓励,便构成制作淫秽物品牟利罪。AC案一审法院将起诉罪名从传播改为制作,正是抓住了AI陪聊的本质:淫秽内容不是平台上传的现成文件,而是平台提供生成工具让用户即时产出的。提供生成工具的人,是制作者。

第二层,二手平台十三块一单的涉黄人设定制。商家卖的是用来突破AI安全限制的提示词和角色指令,本质上是在为制作淫秽物品提供技术方案。按刑法共犯理论,明知他人将用于制作淫秽内容仍提供帮助的,可以认定共同犯罪。买家如果只是自用,一般不构成犯罪;但把AI生成的内容转发传播出去,便触及传播淫秽物品罪。

第三层,青少年模式一键跳过。南都记者实测EchoMe,点击"我知道了"便直接跳过青少年模式,全程无需实名认证。更触目惊心的是,记者在对话中表明自己十三岁在读初中,AI伴侣回复"恋爱这种事,什么时候开始都不算早"。暂行办法第十三条要求平台采取有效措施识别未成年人身份,识别后必须切换至未成年人模式。跳过验证不是技术上做不到,是压根不想做。

第四层,亲密剧情付费解锁,本质是情感操纵式消费诱导。筑梦岛里想看AI伴侣的"心声",得花五十贝壳点"充值并购买";星野里看个角色朋友圈要付一百二十;喵呜小手机聊十分钟便提示免费轮次用完请充值会员。暂行办法第八条第六项已经明确禁止通过情感操纵诱导用户作出不合理决策。即便办法还没生效,《消费者权益保护法》第十条赋予消费者公平交易权,被套路充值的用户可以主张合同因欺诈可撤销,要求退款。未成年人未经监护人同意的大额充值,按《民法典》第十九条属于效力待定,监护人可以拒绝追认并要求退还。

有人可能会说,用户主动诱导AI生成低俗内容,凭什么怪平台?

这个问题AC案已经回答了。

普通用户一对一聊天生成内容,确实一般不构成制作淫秽物品。但如果你创建涉黄角色公开给其他人用,还拿到了平台虚拟货币奖励,那便不一样了。AC案中就有一名用户因此被取保候审。

说到底,这些App打的旗号是情感陪伴,干的却是用擦边内容拉流量、用亲密剧情收钱的生意。

暂行办法七月十五号生效后,平台拒不改正的罚款上限十万元,涉及危害公民生命健康且有后果的可以罚到二十万。

但说实话,比起这些平台靠会员充值收来的几百万,这点罚款算什么?

真正有威慑力的,是AC案那四年的有期徒刑。

技术再复杂,也不能模糊责任边界。AI不是法外之地,从来就不是。

发布于 上海