【#情感陪伴类AI将迎新规#:极端场景需由人工接管】
12月27日,国家网信办发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》。新规首次针对“AI情感陪伴”,将其定义为模拟人类特征、思维模式和沟通风格,进行情感互动的产品或者服务。
国内AI情感陪伴市场已经较为成熟,主流模式是由AI扮演虚拟角色,通过聊天推进剧情。用户可以自创AI人设,还可以付费语音通话、解锁专属记忆等。AI产品榜11月数据显示,星野(MiniMax)月活已经达到488万人,猫箱(字节跳动)以472万紧随其后,两者断层领先。X EVA(红棉小冰)也有181万月活,筑梦岛(腾讯阅文)则在60万月活左右。
高活跃度背后,是已经基本跑通商业模式的公司。星野的运营公司MiniMax近期向港交所递表,招股书披露,星野和其海外版Talkie在今年前九个月创造了约1.2亿人民币的收入,用户每天在这两款情感陪伴产品上平均花费超过70分钟。
但正因为深度陪伴与高粘性,用户成瘾、情感操纵、未成年人保护一直是AI情感陪伴绕不开的隐患,也是本次《征求意见稿》想要重点回应的现实问题。
在预防成瘾方面,《征求意见稿》要求交互界面显著提示并非真人互动。一旦发现用户连续在线超过2小时,应以弹窗等方式动态提醒暂停使用,同时交互界面需要有清晰的退出选项。
《征求意见稿》还对内容安全提出进一步要求。系统必须能够检测情绪困扰或依赖行为,如果发现用户明确提出自杀、自残等极端情况,需要由人工接管对话,并及时联系监护人和联系人。这也意味着未成年人和老年人用户在账号注册时,就需要提前补充相关信息。
最受行业关注的,是对训练数据的严格限制。《征求意见稿》第十五条明确,除非取得用户“单独同意”,不得将用户交互数据及敏感个人信息用于大模型训练。(21世纪经济报道)
