WinnieS的微博
26-05-29 14:42 微博认证:运动博主

训练场景和推理的预填充阶段,算力排第一,内存容量排第二,带宽排第三,符合大众直觉,训练嘛,就是拼算力。翻到推理的解码阶段,排序变了:带宽排第一,容量排第二,算力掉到第三。
~~~from 华为廖恒 《面向Agentic AI时代的昇腾超节点最佳实践》

发布于 上海