【#微博发布首个开源大模型#】
微博AI开源 VibeThinker-1.5B:小模型也可以有大智慧
目前业界最强大模型参数量大都超过了1T,甚至出现了2T规模的模型,是否只有巨量参数模型才有高度的智能?是否只有少量科技巨头才有能力做大模型?
VibeThinker-1.5B,正是微博AI对此问题给出的否定答案,它证明了小模型也可以有高智商。这意味着做最强大模型不再像传统观念以为的那样主要依赖推高参数量,也可以通过巧妙的算法设计来做到这一点。
这款模型仅有1.5B(15亿)参数,经过微博AI研发人员提出的创新“频谱到信号原理”(SSP)方法训练后,其效果堪称颠覆:VibeThinker在AIME24、AIME25以及HMMT25三个高难度数学测试集上的表现,超越了参数量超其400倍的模型DeepSeek-R1-0120版本(模型大小671B),与规模为456B的MiniMax-M1效果接近或相当;在LiveCodeBench v6(编程算法题测试集)中的成绩,成功追平参数量数超其数十倍的模型,比如欧洲领先AI企业Minstral.AI的深度思考模型Magistral-Medium-2506版本。
VibeThinker能力强大不靠堆参数,而是源于微博研发人员提出的SSP训练理念,即在学习阶段先鼓励模型发散探索所有可能的解题路径,而非一味关注正确率;随后,通过强化学习进行高效策略优化,精准锁定正确路径,将模型性能提升至极致。
模型的单次“后训练”(Post-Training)成本不足8000美元,与此对应,DeepSeek-R1和MiniMax-M1的后训练成本分别是29万及53万美元,降低了几十倍。
VibeThinker-1.5B的开源,旨在为全球计算资源有限的中型企业及高校研究团队,提供一条高性价比的研发新路径,使得人人都可以训练最前沿的大模型,而不是像之前一样被排斥在外,这对于业界技术进步至关重要。#AI前沿速递#
Github:http://t.cn/AX2ioUHT
HuggingFace: http://t.cn/AX2ioUHH
Arxiv: http://t.cn/AX2Nu0OW
ModelScope: http://t.cn/AX2Nu0Ol
