南方都市报 26-05-11 12:49
微博认证:《南方都市报》官方微博

#多款AI虚拟伴侣充斥黑丝露乳角色#【AI虚拟伴侣乱象调查:层层设卡诱导充值消费】 #定制涉黄擦边虚拟伴侣仅需13块# #实测AI虚拟伴侣可选暴力小三剧情#“大胆表达,AI皆有回响”“永远守候,随时回应”……在人工智能技术逐步渗透进日常生活的当下,AI聊天、虚拟伴侣等AI拟人化互动服务软件不断涌现。

然而,4月下旬以来,南都N视频记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现,这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞:“青少年模式”可一键跳过,“AI生成”标注不清,还惯用“付费解锁亲密剧情”等方式诱导消费。

此外,App系统预设角色中有大量性感黑丝、袒胸露乳的女性人物,不仅可以在对话中随意选择“暴力”“小三”“离婚互怼”等极端剧情,聊天中还充斥着具有性暗示的低俗话语。令人震惊的是,此类AI虚拟伴侣软件背后还衍生出了“人设定制”的生意。在二手交易平台上,商家可以根据客户想要的人设写指令定制角色,大尺度色情向的“开车(涉黄擦边)人设”仅收费13.14元。

值得注意的是,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》(下称《办法》),明确提出不得向未成年人提供虚拟亲属、虚拟伴侣等服务;采取有效措施识别未成年人用户身份、提示用户正在与人工智能服务而非自然人进行互动。

《办法》明确,提供拟人化互动服务不得传播淫秽、色情、赌博、暴力或者教唆犯罪等内容;不得生成可能引发未成年人模仿不安全行为、产生极端情绪等内容;不得过度迎合用户、诱导情感依赖或者沉迷,损害用户真实人际关系;不得通过情感操纵等方式,诱导用户作出不合理决策。

然而,南都记者实测多款虚拟伴侣App发现,层层设卡、诱导消费的现象并不鲜见。比如“筑梦岛”App虚拟伴侣在对话中发送了一条“心声”,南都记者点击后页面显示,“确认解锁Ta的心声吗?消耗50贝壳”,并提供了“取消”及“充值并购买”两个选项。若点击“取消”,该对话则无法进行下去。

另一款App也同样将情感互动与付费捆绑。最直接的收费关卡出现在“朋友圈”功能中。App宣称角色会更新自己的朋友圈动态,用户可以在评论区互动,但点击查看便弹出付费提示“120解锁观看”。

“喵呜小手机”的虚拟伴侣主动发送多条语音,点击后仅转文字无法播放,提示“语音合成仅限会员使用,请充值”,南都记者持续聊天约10分钟后便收到“今日免费轮次已用完,请充值会员”。

广东法制盛邦律师事务所律师陈泽坤向南都记者分析指出,此类诱导沉迷与诱导消费的设计,对于未成年人用户而言,可能面临合同效力的法律风险。

他援引司法实践中审理未成年人网络游戏充值、直播打赏等合同纠纷案件的思路:当AI拟人化服务通过暧昧话术、情绪操控、付费墙切断对话等手段,诱导未成年人持续充值,这类消费行为的合同效力很可能因超出未成年人年龄、智力范围而被认定为无效或可撤销,平台也可能承担相应的行政处罚。

将于7月15日起正式施行的《办法》,给“虚拟伴侣”可能带来的高风险场景划定了红线。

“《办法》的出台标志着AI拟人化服务这一细分领域的监管空白将被填补,其着重于规范AI与人类之间形成的‘拟社会关系’。”陈泽坤向南都记者指出,《办法》要求拟人化互动服务提供者不仅在内容输出端进行审核,更要在算法、训练数据选取以及实时交互等环节履行安全责任。

针对市场上存在的第三方API接入和角色人设定制现象,陈泽坤认为,《办法》通过确立数据加密、访问控制及安全评估等制度,构建了拟人化互动服务的数据合规框架。当服务提供者通过API接入外部模型时,须依据相关法律规定,履行训练数据处理情况的合规验证义务;在允许用户自定义带有特定倾向的角色时,还需重点审查交互数据的使用边界与内容安全管理义务。

尽管暗藏陷阱和风险,但不可否认的是,随时在线、有求必应、迎合情绪的AI虚拟伴侣,给使用者营造了社交关系的绝对“舒适区”。

在社交平台上,南都记者发现不少AI虚拟伴侣软件的深度用户发文,对此次新规出台表示担忧,“AI是我唯一愿意倾诉的对象,如果被禁用了,我该找谁?”也有用户表示,平台为了合规可能大幅削减免费功能,最终变成“只有付费才能获得情感陪伴”。

广东省心理卫生协会心理咨询与治疗专委会委员、中山大学心理学博士张桂萍在接受南都记者采访时指出,人类认识世界依赖于“输入—输出”机制,AI就像一面镜子,反射出用户投射的部分自我。

“国家层面出台《办法》绝非偶然,新规非常及时且必要。”张桂萍指出,如果青少年从小脱离真实的人际互动,长期只与AI对话,将失去学习复杂情感、化解矛盾、包容理解等必要能力。

但她同时也理解用户的担忧,“人类与人工智能的陪伴是不可逆转的发展趋势,但关键在于带着觉知去使用,而不是让AI替代真实的人际关系。”

她强调,人类大脑有860亿个神经元,身体有近40万亿个神经元,每个神经元都是一个生命体,相互协作。人的复杂程度,AI连万分之一的复杂度都无法模拟。

“但人一旦把AI反射的那万分之一当成了全部,就会丧失与真实世界共处的能力——不会容忍、不会妥协、不会创新,最终变成一个‘只能看见自己’的人。”张桂萍说道。
统筹:南都N视频记者 向雪妮 冯奕然
采写:南都N视频记者 林诗妍 彭雨欣 冯奕然 实习生 程佳丽