最近,千问AI硬件团队的一篇论文入选了ICLR 2026。
这个会议和NeurIPS、ICML并称机器学习领域的三大顶会,今年投稿接近1.9万篇,接收率创了新低。
能在这种竞争下入选,含金量不言而喻。而此前,千问C端应用团队就已经公布了4篇论文入选,且全部开源。
但比入选顶会更值得关注的,是这篇论文解决的问题本身:他们让一个只有0.6B参数的超小型模型,在理解指令和调用功能这件事上,表现超过了很多3B到4B参数的大模型。
这可能是AI行业正在发生的一次底层逻辑重构。
过去几年,AI行业一直在追求更大的模型。
但这条路走到今天,遇到了一个绕不过去的矛盾:大模型虽然强大,却很难真正走进每个人的设备里。
你的手机、智能眼镜、智能音箱,算力和存储都很有限。
让一个几十亿参数的模型在这些设备上跑,要么根本带不动,要么耗电快到让人崩溃。
于是大部分AI应用都把计算放在云端,你每次问问题,数据传到远程服务器,AI算完再传回来。
这样做虽然能用,但代价也很明显:延迟高、隐私风险大、离不开网络。
而真正的矛盾点在于:我们既需要AI足够聪明,又需要它足够轻便。
这不是靠简单压缩模型能解决的,毕竟你把一个大模型粗暴地砍掉一半参数,性能往往会断崖式下跌。
千问团队这次做的事情,本质上是在探索另一条路:不是把大模型变小,而是让小模型学会大模型的本事。
这篇论文的核心是两个方法:CKD和SimRL。
我们拆开来看,背后的思路其实非常实用。
CKD做的事情,是重新定义知识传递的方式。
传统的知识蒸馏有点像填鸭式教育:大模型说什么,小模型就得学什么,不允许有任何偏差。
这种方法的问题在于,小模型容易死记硬背,碰到没见过的场景就不行了。
CKD的改进很巧妙,它让小模型重点学习大模型最有把握的那些预测,同时给小模型留出探索空间,不会把它训练成一个只会复制粘贴的工具。
更关键的是,CKD会主动压制那些小模型自己瞎猜但大模型根本不看好的答案。
这就像是在告诉学生:这些思路是错的,别浪费时间。
这种有侧重、有约束的学习方式,既保证了训练稳定,又保留了小模型自己思考的能力。
SimRL解决的则是另一个问题:如何给AI更精准的反馈。
传统的强化学习训练AI时,奖励机制非常粗暴:答对了给1分,答错了给0分。
但现实中很多任务不是非黑即白的。比如你让AI帮你订餐,它可能把餐厅名字写对了,但忘了填时间。
传统方法可能会直接给0分,因为结果不完美。
但SimRL会给0.5分,因为它能识别出这个回答已经完成了一半。
这种细粒度的反馈,让AI的学习过程变得更高效。
它不会因为一点小失误就全盘否定,而是能逐步改进,慢慢逼近最优解。
两者结合起来,效果就不是简单的1+1。
CKD负责打基础,让小模型从大模型那里学到核心能力。SimRL负责精修,通过细致的奖励机制不断优化小模型的表现。
就像培养一个学生:先让他跟着顶尖老师打好基本功,再通过针对性训练让他在特定领域表现出色。
可能有人会问:搞这么小的模型有什么用?大模型不是更强吗?
这个问题背后,其实藏着AI行业正在发生的一次战略转向。
过去几年,大家都在追求云端大模型的极致性能,谁的模型更大、更强,谁就占据制高点。
但这条路走到今天,边际收益正在递减。
与此同时,端侧AI的需求正在爆发。
这些场景对AI的要求不是最强,而是够用、够快、够省电。
千问团队这次做的研究,恰好踩在了这个转折点上。
他们证明了一件事:通过聪明的训练方法,0.6B参数的小模型可以在特定任务上超越3B到4B参数的大模型。
这不仅仅是性能的突破,而是一种范式的转变。
它告诉行业:AI的未来不一定在云端,也可以在你的设备里。
而这篇论文最让人期待的地方,是它指向的应用场景。
端侧部署的想象空间远比我们想象的大。
想象一下,你戴着智能眼镜走在国外的街头,它能实时翻译路牌、菜单、对话,而且完全不需要联网。
你的数据也不会上传到任何服务器,隐私风险降到最低。
云端成本优化的价值也很容易被低估。
很多企业用AI做客服、API调用这种高频但并不复杂的任务。如果每次都调用几十亿参数的大模型,计算资源消耗巨大。
但如果用0.6B参数的小模型替代,成本能降到原来的十分之一,甚至更低。
而且对于这些相对简单的任务,小模型的表现完全够用。
这篇论文的入选,其实反映了AI行业正在发生的一个更深层次的变化:从追求大而全,到追求刚刚好。
行业也逐渐开始意识到,AI的价值不在于它有多强,而在于它能解决多少实际问题。
这种思路的转变,不仅仅是技术路线的调整,更是整个行业对AI未来形态的重新思考。
未来的AI可能不是一个超级大脑,而是无数个分布式的小大脑。
这种形态不仅更符合用户对隐私的需求,也更符合计算资源分布式化的趋势。
或许,未来我们对于AI终极目标应该是让它真正走进每个人的生活。
要做到这一点,它必须足够轻、足够快、足够省资源。
从这个角度看,千问团队做的事情不是在缩小AI,而是在拓宽AI的边界。
顺便说一句,千问C端事业群成立以来一直在扩招。作为阿里面向AI时代的战略级产品,千问APP的定位是未来之战。
如果你是AI领域的研究者或者工程师,这种既能做前沿研究又能真正落地的平台,非常值得关注一下!
