这个仓库好有意思,让比较小的大语言模型对某一个问题的推理,用多个分支同步进行,然后裁掉错误的分支,合并正确的分支,模拟量子搜索的方式去提高推理的质量。话说这样不会燃烧大量的Token吗?😅最后可能还不如用更好的模型做单次推理?
Interference Search:多支同时走,相同状态合并,死路丢掉
语言模型以线性方式进行推理。它们将一个标记接着另一个标记写入到单一的记录中,如果某个步骤出错,它们就会回退到之前的状态,重新尝试。而干扰搜索则通过明确的状态来进行推理。每一个活枝都会同时展开,环境会执行相应的动作;落在相同状态的分支会合并为一条,经过训练的评委会淘汰那些无法达到目标的角色,然后幸存者们会一起逐步前进,每次前进一个层级。
这个名称来源于量子搜索的概念,即错误的路径会相互抵消。而这种方法本身属于经典算法,并不具备量子加速的特性。
Bad Theory Labs 2026 年 9 月放出的方法,Apache-2.0。语言模型一条线写 token,错了就在文本里倒带。Interference Search 对显式状态同时展开:环境执行走法,落到同一状态的支合并,一个约 10 万参数的裁判丢掉到不了目标的支,活着的一起进下一层。名字借自量子搜索里错误路径互相抵消,方法是经典的,不声称量子加速。
试验场是 Countdown:几个数凑一个目标,算术由环境做,难的是选哪两个、用什么运算。30 道四数难题上,Qwen3-1.7B 文本思考 1500 token 解 3 道;同一裁判走单线解 21 道;搜索解满 30 道,平均 3 步。搜索大约 5 毫秒一道,而且不跑语言模型。六个数时 83 万条路径收成 1.3 万个不同状态。代码题上几乎没拉开:MBPP 里模型首猜错的 30 题,搜索 9 道,最好的多次重试 8 道,作者写成噪声。提示里写明哪些已经失败,模型反而更常重试。下一步才是把这套搜索训进模型。
🔗 链接:http://t.cn/AXWaroOZ
📄 论文:http://t.cn/AXWaroOw
