#微博视频号续航计划# Chamath 谈及 AI 计算中所有重要的“预填充”和“解码”。
预填充是计算受限的；大规模并行 GPU 胜出，因此随着上下文增长，Nvidia 主导市场。
解码是内存带宽受限的，因为每个下一个标记都依赖于扫描已生成的内容。 http://t.cn/AXYiQCSe
发布于 广东
张岱樾
#微博视频号续航计划# Chamath 谈及 AI 计算中所有重要的“预填充”和“解码”。
预填充是计算受限的；大规模并行 GPU 胜出，因此随着上下文增长，Nvidia 主导市场。
解码是内存带宽受限的，因为每个下一个标记都依赖于扫描已生成的内容。 http://t.cn/AXYiQCSe