爱可可-爱生活
26-11-22 07:37 微博认证:AI博主 2025微博新锐新知博主

「让中间层反复思考三次,26.4B参数小模型把智能体编程跑出了百亿级水平」Thinking Machines Lab 刚刚开源了面向本地设备的小模型 Inkling 2 Mini,显存占用仅约 20GB,普通笔记本离线就能流畅运行。它最大的看点在于采用了循环 Transformer(Looped Transformer)架构:模型共有24层,首尾各6层只跑一遍,中间12层则在生成每个 token 时共享权重反复计算三次,相当于用24层的参数量换来了48层的推理深度。模型本体为混合专家架构(总参 26.4B,实际激活 5.4B),从预训练到部署全程原生采用 4-bit(NVFP4)量化,避免了传统训后量化的精度折损。实测中,它在 DeepSWE v1.1(48.2%)、SWE-bench Pro v2 等智能体编程与工具搜索榜单上领跑所有 100B 以下的开源模型,甚至能离线在 MacBook 上同时驱动一个 20 人模拟小镇的日常运转。由于循环机制让模型能在输出文字前在内部多推演几步,官方还同步放出了可变循环版本供学界研究思维链可监控性。不过它在多轮闲聊和复杂约束指令上仍不及 Qwen3.8-27B,参数规模也限制了内部知识储备,更适合搭配搜索工具充当本地代码或自动化执行代理。不少开发者对端侧模型能否真正替代云端大模型展开了热烈争论,但大家普遍认可这种“用循环算力换参数规模”的思路为本地实用化打开了新局面。thinkingmachines.ai/news/inkling-2-mini/

发布于 北京