这篇文章写的蛮好: Why I don't worry (as much) about big tech's depreciation schedule. http://t.cn/AX2HvH7k 提到一个很重要的观点: 对于AI芯片折旧年限的讨论, 忽略了一个关键区别: 技术迭代导致英伟达芯片对于训练新模型而言, 处于快速被替代的境地, 但是这些芯片的经济价值不能局限在训练功能, 它还可以用作推理或加速计算任务, 对于大型科技公司来说更是如此.

例如2021年买的A100用作基础模型训练, 到了2024年可以继续拿来用作低延迟的推理. 到了2026年, 更快的AI芯片(i.e. B100/B200)取代A100的时候, 后者可以继续用作低成本的批量推理, 这使得AI芯片的折旧期限从2年延长至6-7年. 现实中, Azure使用的由Nvidia K80, P100, and P40 GPUs驱动的虚拟机: NC, NCv2, and ND-series就是2016年购买, 一直到2023年9月才退役. 由Nvidia V100 GPUs驱动的虚拟机NCv3-series 则要一直到2025年9月份才退役.