【#商汤开源SenseNova Loop-9B:9B参数跑出27B的性能,显存最低约9GiB# 】#商汤#
11月17日,商汤科技发布并开源多模态大模型SenseNova Loop-9B。模型权重与相关代码同步上线Hugging Face,采用Apache 2.0许可证。先看几个数字:总参数量约9B,一次前向传播完成56次解码器层计算,等效推理参数约14.6B;上下文长度最高512K tokens;官方AWQ 4-bit量化版权重仅约4.9GB,结合不同量化粒度的KV缓存,最低显存需求约9GiB(64K上下文+4bit KV缓存)。老冀估算了一下:一个27B级别的模型如果按常规稠密架构部署,仅权重部分(BF16精度)就需要约50GB以上的显存,而Loop-9B把这一门槛压到了10GB以内——官方的说法是“部署显存需求低至10GB内”,这意味着许多低显存芯片也能跑出“前沿27B级别模型的性能”。http://t.cn/AXT2uwAx
