AIGCLINK
26-11-21 18:38 微博认证:AI博主

有人说Thinking Machines Lab刚开源的Inkling 2 Mini是能跑在16GB内存上的Sonnet 5.5

Inkling 2 Mini,前OpenAI CTO Mira Murati团队最新开源的模型,用的循环Transformer架构,总参数26.4B,激活3.4B,能在笔记本电脑上离线运行

用Mira Murati的话说就是:Think more,write less

它的核心是改变Transformer内部的计算方式

通常模型都是每个token过一遍所有层,它是中间12层循环跑3遍,24层权重干48层的活儿

在对照实验中,不循环版本要多花140%推理算力才能追平

DeepSWE编程48.2%、SWE-bench Verified79.2%、BrowseComp 79%,领先同规模开源模型

不写思维链没法儿监控模型在想什么,所以研究团队专门训了一个可变循环次数的研究版模型TML-d24-varloop,一并开源了

当模型们都在堆参数时,至少它证明了堆层数使用次数这一条scaling路径

博客:http://t.cn/AXTfH0Ry
HF:http://t.cn/AXTxPssQ

#Inkling2Mini##LoopedTransformer##循环Transformer# http://t.cn/AXTxh7cR

发布于 美国