Andrej Karpathy 的最新分享：用llm.c（约 4000 行 C/CUDA）在 90 分钟内复现 GPT-2（124M），只需 20 美元。

他已将从零开始训练 GPT-2 的完整说明以及更多细节上传至：http://t.cn/A6HW4KAz

Karpathy 称，124M 模型是 2019 年 OpenAI 发布的 GPT-2 系列中最小的模型，实际上在今天也很容易实现，即使是对 GPU-poor 的人来说也是如此，在一个 8X A100 80GB SXM 节点上复现这个模型需要约 90 分钟，而在 Lambda 上，该节点的价格约为 14 美元/小时，因此今天复现该模型的总成本约为 20 美元。您也可以使用单 GPU 训练模型，只是时间会相应延长（例如，根据 GPU 的不同，大约需要 4-24 小时）。

另外，他还重现了 350M 的模型，但在同一个节点上需要花 14 小时，约合 200 美元。根据计算，实际的 "GPT-2"（1558M）目前需要约 1 周时间和约 2500 美元。

根据 FLOPS 计算的近似公式 6ND ：

124M参数 on 10B tokens => 6 * 124e6 * 10e9 = 7.44e18 ~= 7e18 capability model
350M参数 on 30B tokens => 6 * 350e6 * 31.5e9 = 6.615e19 ~= 7e19 capability model (~10X)