#微博视频号续航计划# Chamath 谈及 AI 计算中所有重要的“预填充”和“解码”。
预填充是计算受限的；大规模并行 GPU 胜出，因此随着上下文的增长，Nvidia 主导市场。
解码是内存带宽受限的，因为每个下一个标记都依赖于扫描已生成的内容。
#科技先锋官# http://t.cn/AXlMir2P
发布于 新加坡
张岱樾
#微博视频号续航计划# Chamath 谈及 AI 计算中所有重要的“预填充”和“解码”。
预填充是计算受限的；大规模并行 GPU 胜出，因此随着上下文的增长，Nvidia 主导市场。
解码是内存带宽受限的，因为每个下一个标记都依赖于扫描已生成的内容。
#科技先锋官# http://t.cn/AXlMir2P