milleco
26-07-08 00:07 微博认证:游戏博主

#研究称Claude有内部隐秘思考区# 近期Anthropic发布全新研究,在Claude大模型内部找到一处专属隐秘思考区域,官方把它命名为J空间,是模型训练过程里自行形成,并非人为编写设计。

很多人会把它和思维链弄混,两者完全不一样。思维链是AI展示给用户、完整输出的推理文字,而J空间藏在模型深层运算里,属于不会直接显示出来的内心盘算。哪怕当下只让AI抄写句子,它也能在这片区域同步思考无关概念,不用全部写在回复里。

研究人员做过对照测试,处理多步骤问题时,很多中间推演步骤只会停留在J空间,不会对外输出;同一个概念还能反复调用,适配不同提问任务。这块区域作用类似人脑可控思考模块,能单独存放、处理各类想法,方便模型自主调控逻辑推演。

不过业内也提醒大家理性看待,这种内部运算结构只是相似人脑思考机制,不代表AI拥有自主意识。这项研究最大价值是撬开AI黑箱,方便研发团队追踪隐藏逻辑,更好排查输出偏差、优化大模型安全管控,为后续可解释AI研发提供全新思路。 http://t.cn/AXomwZ8t

发布于 广东