#模型时代# Andrej Kaparthy 3小时讲座4K版：如何深入理解ChatGPT等大语言模型

这个讲座Andrej Kaparthy已经发布几天，由于实在是太长，3个半小时之巨。用我的AI工作流处理的时候，也遇到过多次崩溃，但最终还是整理出一个版本。这个讲座的价值意义，就不用我多做介绍了，含金量百分之一万。而且，既然已经很长了，所以干脆传一个4K 版本，这样PPT上的字符更清晰。

接下来，直接附上讲座的原始简介，以示尊重（其实是我自己还没听完[干饭人]）：

***
Andrej Kaparthy：这是面向大众的深度探讨，介绍为 ChatGPT 等相关产品提供支持的大型语言模型（LLM）AI 技术。内容涵盖了从模型开发到思考模型“心理”的心智模型，以及如何在实际应用中最大化地使用它们的全部训练过程。我在大约一年前已经发布过一个“LLMs 简介”的视频，但那只是一次随意演讲的重录。因此，我想重新回来做一个更全面的版本。

个人简介：
Andrej 曾是 OpenAI 的创始成员（2015 年），之后在特斯拉（Tesla）担任 AI 高级总监（2017-2022 年），现在是 Eureka Labs 的创始人，该机构正在建设一所 AI 原生的学校。他在本视频中的目标是提高人们对 AI 最新技术状态的了解和理解，并帮助人们有效地在工作中使用最新、最强大的技术。

更多信息可见 karpathy.ai/ 和 x.com/karpathy

00:00:00 介绍（introduction）
00:01:00 预训练数据（pretraining data）
00:07:47 分词（tokenization）
00:14:27 神经网络输入/输出（neural network I/O）
00:20:11 神经网络内部结构（neural network internals）
00:26:01 推理（inference）
00:31:09 GPT-2：训练与推理（GPT-2: training and inference）
00:42:52 Llama 3.1 基础模型推理（Llama 3.1 base model inference）
00:59:23 从预训练到后训练（pretraining to post-training）
01:01:06 后训练数据（对话数据）（post-training data, conversations）
01:20:32 幻觉、工具使用、知识/工作记忆（hallucinations, tool use, knowledge/working memory）
01:41:46 自我认知（knowledge of self）
01:46:56 模型需要 tokens 来思考（models need tokens to think）
02:01:11 分词再探：模型难以处理拼写（tokenization revisited: models struggle with spelling）
02:04:53 不平滑的智能（jagged intelligence）
02:07:28 监督微调到强化学习（supervised finetuning to reinforcement learning）
02:14:42 强化学习（reinforcement learning）
02:27:47 DeepSeek-R1
02:42:07 AlphaGo
02:48:26 来自人类反馈的强化学习（RLHF, reinforcement learning from human feedback）
03:09:39 展望未来（preview of things to come）
03:15:15 跟踪 LLM 的发展（keeping track of LLMs）
03:18:34 在哪里找到 LLM（where to find LLMs）
03:21:46 总结（grand summary） http://t.cn/A61L9NHe