【揭秘OEX超节点如何让GPU少“摸鱼”】 假如GPU会说话，大模型运行时的口头禅大概是：“我这边算完了，下一步的数据呢？”在大模型训练和推理中，一颗GPU往往难以独立完成全部计算。它办完当前这一步，还得等其他GPU传来中间结果，或者等新的任务数据到位，才能继续往下走。协同的GPU越来越多、交换的数据越来越大、通信越来越频繁，问题就格外扎眼：GPU算力本身不缺，可关键数据还在半路上。数据为什么总在半路打转？不妨先看两种典型的并行计算场景。  http://t.cn/AXj7EQmN