#模型时代# 对DeepSeek等推理模型的惊人发现:答案越啰嗦,错误率越高。反之,越简洁就越正确。
UC 伯克利教授Alex Dimakis刚发推说了一个很有趣的现象。对于DeepSeek-R1 和所有推理模型:错误答案要长得多,正确答案要短得多。即使是同一个问题,当重新运行模型时,它有时就会产生一个简短(通常是正确的)答案或一个错误的冗长答案。
基于此,他提出一个简单的假设,称为 Laconic 解码:运行模型 5 次(并行),并选择具有最少Token数的答案。
在博士生Negin Raoof的协助下,他们做了测试验证。初步结果表明,这种解码在AIME24 上仅需几次并行运行就能产生 +6-7% 的效果。这比共识解码更好(也更快)。
应该怎么说,难道是奥卡姆剃刀原理?如非必要,勿增实体。啰嗦就是模型胆怯,输出虚假答案的信号。
发布于 北京
