归零归零归ww
26-08-07 19:31

正在用博客内容测试 DGX Spark 双机集群推理 DeepSeek-V4-Flash-0731 的性能。

初步的结果是:最高思考强度,1M上下文,无缓存,读题速度约1200tps@96k输入,做题速度约34tps@自然结束3k输出。

核心温度基本保持在90℃以下,满载时集群整体功耗加起来大概在300W左右。后面打算用车载空调对着吹,制造低温小环境,以实现7×24开机运行。推理服务冷启动大概需要5~10分钟。

现在还不熟悉这个配方,或许还有优化空间。我自己的体感跟K3(网页、Agent)的速度大差不差了,对于我日常使用的问答、AIAC任务来说,已经够用了。

总体结论:这机器没有我预想的那么差。

我使用的配方是MiaAI-Lab/DeepSeek-v4-Flash-DSpark-2x-DGX-Spark。

发布于 江苏