gb10双机部署glm5.3 flash终于迎来了新的部署方案，用最近出来的nvfp4权重，本机实测解码56toks（结构化）、42（code），100k prefill 1350toks，kv池190万，然而最强的是前缀缓存，第二遍起十轮全部 100% 命中，预填充累计从 52.42s 降到 0.32s。短板是超长prefill会有阻塞无法调度，不影响单流使用但是并发会很难受。
发布于 葡萄牙
肥耳腩多Fernando