加入英伟达整整一年了，发篇技术贴介绍一下我们目前最重要的产品GB200和相关工作。

过去的GPU系统尽可能将更多的GPU卡集成到一个节点中，同一个节点内的GPU卡通过高带宽的NVLink连接，实现高性能的通信。

随着多节点NVLink的引入，我们可以在单台机器上配置更少的 GPU，通过NVSwitch将它们互连，从而在不同节点的GPU之间实现全带宽的NVLink连接。

第五代NVLink可在单个NVLink域中连接多达576 个GPU， 240TB内存，总带宽超过1PB/s，为每个GPU提供1.8TB/s的双向吞吐量。

GB200利用这一技术，将一个包含18个计算节点的rack转变为一个超级计算机，最多可以有72个完全互联的GPU卡，通过 NVLink全速通信。

GB200通过一种叫做IMEX Channel的机制实现同一节点或不同节点的GPU卡之间的高效和安全通信，也就是允许一组GPU通过NVLink直接读写彼此的内存。

用户可以通过软件配置GB200上不同的节点组合创建不同的IMEX Domain。最简单的情况下，一个GB200系统中的所有18个节点可以组成一个单一的IMEX Domain。同一个IMEX Domain 内的GPU可以共享内存，这对于多节点的训练和推理工作负载特别有用。

但是，这种跨节点的资源对Kubernetes是个挑战，因为原生的Kubernetes没法调度和管理跨节点资源。

我目前参与的一项工作是利用和加强DRA(Dynamic Resource Allocation)来支持在Kubernetes里利用IMEX Channel为应用提供安全和灵活的GPU内存共享，从而提高集群的资源利用率和应用性能（DRA:http://t.cn/A63XB4B3)。细节请听下回分解。

Refs:
- http://t.cn/A6nzngeX
- http://t.cn/A6TzuShC

#英伟达GB200##英伟达##GPU##人工智能##芯片# #科技#