贾凡-失落的大蒜
26-11-21 09:17 微博认证:科技博主

Thinking Machines 发布了 Inkling 2 Mini,排名第 20 位,这是一个开放权重的循环 transformer,位于 Intelligence 与 Active Parameters 的 Pareto 前沿。

Inkling 2 Mini 是一个总计 26B、5.4B 活跃参数的专家混合模型。5.4B 活跃参数计数包括通过其循环层的三次遍历;它每个文本标记使用 3.1B 个唯一权重,并且小到可以在 MacBook 或 DGX Spark 上运行。

它以 Apache 2.0 许可发布,支持文本和图像输入,并具有 1M 标记的上下文窗口。

等一个量化

发布于 辽宁