高飞 25-02-02 22:14
微博认证:至顶科技创始人 AI博主

#模型时代# 对DeepSeek等推理模型的惊人发现:答案越啰嗦,错误率越高。反之,越简洁就越正确。

UC 伯克利教授Alex Dimakis刚发推说了一个很有趣的现象。对于DeepSeek-R1 和所有推理模型:错误答案要长得多,正确答案要短得多。即使是同一个问题,当重新运行模型时,它有时就会产生一个简短(通常是正确的)答案或一个错误的冗长答案。

基于此,他提出一个简单的假设,称为 Laconic 解码:运行模型 5 次(并行),并选择具有最少Token数的答案。

在博士生Negin Raoof的协助下,他们做了测试验证。初步结果表明,这种解码在AIME24 上仅需几次并行运行就能产生 +6-7% 的效果。这比共识解码更好(也更快)。

应该怎么说,难道是奥卡姆剃刀原理?如非必要,勿增实体。啰嗦就是模型胆怯,输出虚假答案的信号。

发布于 北京