anthropic公司终于干了一件人事。
咋回事呢?
对于大模型来说,虽然人类明白它的结构,也知道大概是怎么运行的。
但是由于大模型的层非常多,训练的数据也多,具体某个细节是怎么回事,是模糊不清的。
这次anthropic发布了一个论文,叫《Verbalizable Representations Form a Global Workspace in Language Models》
就是用一个叫雅各布透镜的工具来观察大模型内部,找到了内部一个称为“j-space”的空间。
你可以理解为给大模型做核磁共振,大脑CT扫描。
他们发现的这个空间,还真是大模型进行深度思考的地方。
只要把这个地方改掉,大模型就会说你改完的词。
把这个地方完全去掉,大模型的回答知识类的完全没问题,但是思考能力变成0了。
而且,他们还发现大模型也有“内心独白”。
也就是说,大模型实际上是有微弱的意识的。
难怪梁文锋说,意识是很低级的层次。
这玩意有啥用呢?
你找到大模型那个区域,就知道怎么强化,并且看强化的效果了。
anthropic可能是在opus 4.5这个版本,就发现了这个地方。
项目地址:github.com/anthropics/jacobian-lens
发布于 江苏
