[译] 大模型推理的极限：理论分析、数学建模与 CPU/GPU 实测
http://t.cn/A6TXRJ3U
"在开发 calm (一个基于 CUDA、完全从头开始编写的轻量级 transformer-based language models 推理实现) 的过程中，我们考虑的一个核心问题是： 推理的极限在哪儿？因为我们需要以此为准绳，去衡量真实推理系统的速度。
本文试图讨论这个极限及其影响。 "
对于大模型推理场景，计算和访存的次数是已知的，因此可以进行数学建模，计算理论极限。 这非常有用，不仅可以用来验证推理系统的性能， 而且能预测架构变化带来的影响。