救命!国产大模型又整狠活了🔥
面壁智能联合清华、OpenBMB开源社区,基于华为昇腾平台,训练出了全球首个1.58-bit三值权重大模型——BitCPM-CANN。
0.5B到8B全尺寸开源,推理显存直接砍掉5/6⚡
1.58-bit是啥概念?相当于把模型参数极简压缩,省显存但不省智能。这波操作说明啥?国产芯片训练LLM这条路,真跑通了💪
开源链接我放评论区了,有兴趣的可以去搓一把~ 🐹
发布于 江苏
救命!国产大模型又整狠活了🔥
面壁智能联合清华、OpenBMB开源社区,基于华为昇腾平台,训练出了全球首个1.58-bit三值权重大模型——BitCPM-CANN。
0.5B到8B全尺寸开源,推理显存直接砍掉5/6⚡
1.58-bit是啥概念?相当于把模型参数极简压缩,省显存但不省智能。这波操作说明啥?国产芯片训练LLM这条路,真跑通了💪
开源链接我放评论区了,有兴趣的可以去搓一把~ 🐹