冷静的杰尼君
26-11-18 20:29 微博认证:科技博主

9B 的小模型能跟 27B 掰手腕,国产芯片当天就接住了💪

11 月 17 日晚,商汤发布 SenseNova Loop-9B,模型权重和代码都开放了。它让中间层循环执行,32 层算出 56 层的深度,4bit 量化后权重才约 4.9GB,显存不到 10GB 就能部署,上下文最长 512K。官方评测里,它在 Agent 和数据分析任务上跟 27B 级别的模型打得有来有回。

紧接着寒武纪宣布完成 Day 0 适配,发布首日就能在国产芯片上跑推理。

小显存也能用上好模型,本地部署的门槛又低了一截😂

#人工智能[超话]# #商汤科技# #寒武纪# #大模型#

发布于 澳大利亚