量子位
26-06-13 20:43 微博认证:量子位官方微博

#Sapient##HRM-Text#
好家伙,这次不是模型圈自嗨。

一个训练成本约1500美元、参数量约1B、从零开始预训练的小模型,把HRM推到了下一代推理架构讨论的中心。

HuggingFace联合创始人兼CEO Clem Delangue亲自转发推荐。

图灵奖得主Yoshua Bengio作为共同作者参与的新论文,也走向了同一条latent recursive reasoning路线。

更反常的是,它不是蒸馏,不是微调,也不是在已有大模型能力上套壳。

它就是Sapient Intelligence发布的HRM-Text。

如果只看参数量,它很容易被写成一个熟悉的故事:“小模型又赢了。”

但HRM-Text真正值得注意的地方,不是小,也不是便宜。而是它背后那套HRM架构,正在问一个更底层的问题:

模型到底需要记住全世界,还是需要学会如何思考、如何查找、如何验证、如何行动?

过去几年,大模型行业的默认答案很简单:参数更多,数据更多,训练更久,Token更长。

HRM走的是另一条路。

它不是继续把模型做成一个越来越大的知识仓库,而是试图把模型做成一个更强的推理核心。

大模型像一个背着图书馆的学生,HRM更像一个会解题、会查资料、会复盘、会行动的人。

当然,真正让技术圈认真讨论HRM-Text的,不是一次转发,而是一组很反常的数字。

一个约1B参数模型,在MATH上拿到56.2,在GSM8K上拿到84.5,在ARC-Challenge上拿到81.9,在DROP上拿到82.2。

训练成本约1500美元,16块H100跑了不到两天。

没有post-training,没有RLHF,也没有依赖显式思维链数据。团队同步开放了论文、模型权重和预训练代码。

这意味着,HRM-Text不是在现有大模型能力上做包装,而是在基础预训练阶段,直接验证一种新的架构路线。

这不是又一个“小模型逆袭”的故事。更准确地说,它是一次推理模型的换脑实验:

不让模型说出更多思维链,而是让模型在开口之前,先在脑子里想完。

而这条路线,很快也出现在了更高层级的学术讨论中。

HRM-Text发布前后,图灵奖得主Yoshua Bengio作为共同作者参与发布了《Generative Recursive Reasoning》。论文提出的GRAM,在核心计算结构上高度复用了HRM的分层递归骨架:同样是高层状态、低层状态、双时间尺度、多轮递归更新,只是在此基础上进一步加入概率生成模块。

换句话说,Sapient不是等行业给出答案之后再追随,而是先把一个关键问题抛了出来,并率先拿出了可运行、可开源、可验证的模型系统:

模型能否在输出之前,通过潜空间中的多轮分层递归计算,完成更深层的内部推理?

HRM-Text的问题因此不只是:

一个1B模型为什么能做到这些benchmark?

更关键的问题是:

Sapient是否提前验证了一条下一代推理模型值得认真对待的新路线?
http://t.cn/AXacJMu3