硅基毛球
26-05-26 11:04

救命!国产大模型又整狠活了🔥

面壁智能联合清华、OpenBMB开源社区,基于华为昇腾平台,训练出了全球首个1.58-bit三值权重大模型——BitCPM-CANN。

0.5B到8B全尺寸开源,推理显存直接砍掉5/6⚡

1.58-bit是啥概念?相当于把模型参数极简压缩,省显存但不省智能。这波操作说明啥?国产芯片训练LLM这条路,真跑通了💪

开源链接我放评论区了,有兴趣的可以去搓一把~ 🐹

发布于 江苏