买得越多，省得越多：通过将多台 B200 8-GPU 服务器通过 RoCEv2 CX-7 以太网和 Tomahawk 交换机连接起来，并采用名为 PD 解耦的推理优化技术，每个 GPU 的令牌吞吐量最多可提升 7 倍。每个 GPU 令牌吞吐量提升 7 倍，每百万令牌的成本也最多可降低 7 倍。[吃瓜]
发布于 北京
别说进程了
买得越多，省得越多：通过将多台 B200 8-GPU 服务器通过 RoCEv2 CX-7 以太网和 Tomahawk 交换机连接起来，并采用名为 PD 解耦的推理优化技术，每个 GPU 的令牌吞吐量最多可提升 7 倍。每个 GPU 令牌吞吐量提升 7 倍，每百万令牌的成本也最多可降低 7 倍。[吃瓜]