nanochat：ChatGPT的开源“教学版”

何人都能用不到100美元，自己动手从零构建一个可聊天的AI模型

由 @karpathy 开发

它是一个完整、简化版的ChatGPT系统。

是一个从零开始构建的、极简且完整的 ChatGPT 级聊天模型（LLM）实现。也就是说，它不仅有模型，还有从训练、测试到上线的全部环节。

这个项目可以当作教学工具，让更多人能真正理解ChatGPT是怎么炼成的。

你可以在一台搭载 8×H100 GPU 的节点上，通过运行一条脚本（speedrun. sh）

在约 4小时 内完成：

数据预处理（从文本中提取训练语料）
分词（用Rust写的快速tokenizer））
预训练（用PyTorch在GPU上训练）
微调（在常见任务上测试性能）
评估（输出准确率、loss、速度等指标）
推理与 Web 聊天界面部署（像ChatGPT一样可以对话）

最终，你能从零获得一个可交互的“小型ChatGPT”。

有多个训练层级选择（不同预算）

详细介绍：http://t.cn/AXzTq6fX

GitHub：http://t.cn/AXzYrFsX