训练场景和推理的预填充阶段,算力排第一,内存容量排第二,带宽排第三,符合大众直觉,训练嘛,就是拼算力。翻到推理的解码阶段,排序变了:带宽排第一,容量排第二,算力掉到第三。
~~~from 华为廖恒 《面向Agentic AI时代的昇腾超节点最佳实践》
发布于 上海
训练场景和推理的预填充阶段,算力排第一,内存容量排第二,带宽排第三,符合大众直觉,训练嘛,就是拼算力。翻到推理的解码阶段,排序变了:带宽排第一,容量排第二,算力掉到第三。
~~~from 华为廖恒 《面向Agentic AI时代的昇腾超节点最佳实践》