Anthropic提出了一种新的可解释性方法，尝试将AI模型内部复杂的数学表示（激活状态）转换成自然语言描述，从而帮助研究人员理解模型在生成回答时内部可能进行了哪些信息处理。

过去，人们只能看到模型的输入和输出，却很难知道中间发生了什么。这项方法则尝试在模型内部建立一种“数字表示—自然语言”的映射，让研究人员能够观察模型在不同阶段可能关注的信息，例如是否正在规划回答、是否识别出当前属于安全测试场景、是否正在权衡不同回答策略等。

研究过程中，Anthropic发现，在个别实验中，模型内部的表示有时会体现出一些没有直接表现在最终回答中的信息。例如，在安全测试中，模型内部可能已经意识到自己正在接受测试，但最终回答并不会直接表达这一判断；在涉及违规行为的实验里，模型内部也可能出现与规避检测或调整策略相关的内部表示。

#烽火问鼎计划##微博视频号续航计划# http://t.cn/AXoENcYw