NVIDIA Nemotron-3.5-Bolt-E4B 面向本地轻量推理,约 8B 总参数、每轮激活约 4B。它带 64K 上下文、思考模式切换和工具调用能力,适合拿来试低延迟问答、离线语音助手,或者先做本地工具调用的原型。
想在普通电脑上尝试,先从模型发布页选 GGUF 量化文件。原帖续帖提到 Q4_K_M 约 6.18 GB,可以用支持该模型的 LM Studio 或 llama.cpp 加载。初次先设较短的上下文,跑一段普通对话和一条结构化工具调用,观察首字延迟、生成速度和内存占用,再增加上下文。
模型文件大小和运行时内存是两回事,缓存、上下文长度和 GPU 卸载量都会影响能否跑满。配套 DFlash 草稿模型可在兼容的后端上用来做投机解码,可以分别打开和关闭比较实际收益。选文件时也建议看清模型卡里的推荐参数和许可证。
项目资料:http://t.cn/AXj5BhAL
原帖:http://t.cn/AXTqBsNO
发布于 辽宁
