有人说Thinking Machines Lab刚开源的Inkling 2 Mini是能跑在16GB内存上的Sonnet 5.5
Inkling 2 Mini,前OpenAI CTO Mira Murati团队最新开源的模型,用的循环Transformer架构,总参数26.4B,激活3.4B,能在笔记本电脑上离线运行
用Mira Murati的话说就是:Think more,write less
它的核心是改变Transformer内部的计算方式
通常模型都是每个token过一遍所有层,它是中间12层循环跑3遍,24层权重干48层的活儿
在对照实验中,不循环版本要多花140%推理算力才能追平
DeepSWE编程48.2%、SWE-bench Verified79.2%、BrowseComp 79%,领先同规模开源模型
不写思维链没法儿监控模型在想什么,所以研究团队专门训了一个可变循环次数的研究版模型TML-d24-varloop,一并开源了
当模型们都在堆参数时,至少它证明了堆层数使用次数这一条scaling路径
博客:http://t.cn/AXTfH0Ry
HF:http://t.cn/AXTxPssQ
#Inkling2Mini##LoopedTransformer##循环Transformer# http://t.cn/AXTxh7cR
发布于 美国
