#模型时代# 测了一下GB10双机串联(英伟达官方的DGX Spark 和 HP的ZGX Nano),跑GLM-4.5-Air-FP8,106B的总参数(激活参数12B),单台接近跑满128G内显存,双机就很从容多,TPS也从每秒11涨到了每秒18,可用性增加不少
发布于 北京
#模型时代# 测了一下GB10双机串联(英伟达官方的DGX Spark 和 HP的ZGX Nano),跑GLM-4.5-Air-FP8,106B的总参数(激活参数12B),单台接近跑满128G内显存,双机就很从容多,TPS也从每秒11涨到了每秒18,可用性增加不少