斌叔OKmath
26-08-22 10:19 微博认证:橙旭园CEO 教育博主

一个对所有 DGX Spark 用户来说的重大时刻 ⚡️

您现在可以运行 DeepSeek v4 Flash 0731 而无需第二台设备,质量足够高,可实现可靠的代码生成、高上下文支持以及出色的速度!

针对单流会话进行了优化:
- EXL3 量化
- 384k 上下文(保守估计) / ~440k kv 缓存 (!)
- 47 tok/s 单流(结构化)
- 1024 tok/s 预填充
- 370k 令牌针测试通过(超级稳定!)

感谢
@0xSero
提供的这个优秀的 EXL3 量化!针对 SparkInfer + DSpark 推测解码进行了调整,其质量与 Q4_K_M / Q5 GGUF 相当!

所有这些都得益于原生 NVFP4 KV 缓存以及修复上游预填充路径中的内核错误,使其能够正常工作。

发布于 北京