【hf-mem|大模型吃多少显存?】
想在本地跑一个大模型,动辄几十 GB 的权重还没下载,就得先猜显卡能不能装下。hf-mem 1.0 是个命令行工具,可以先给 Hugging Face 模型做一次推理内存估算。
它用 HTTP Range 只读取模型文件的必要片段,解析权重元数据,支持 Safetensors、GGUF 和 ONNX。除了权重,还会估算 KV 缓存与额外开销。KV 缓存是模型为了继续生成而保留的中间状态。
同一个模型换成更低精度,权重可能小很多,但上下文拉长、并发增加,缓存也会涨。这个估算适合在下载前筛选模型和量化版本,实际上线能跑多少并发,还得拿目标推理框架实测。
配图来自 hf-mem 作者的技术博客。
来源:http://t.cn/AXTwl2Bc
发布于 辽宁
