花了三个半小时在 YouTube 看完了 Karpathy 的《深入探索 ChatGPT 类大模型》，应该是目前入门了解大模型最好的视频？视频是做给普通用户的，搭配沉浸式翻译基本都能看懂。
- Karpathy 是 OpenAI 创始成员，后来加入特斯拉当人工智能总监，现在又回到了 OpenAI 并且在 YouTube 做免费教学视频。
视频里深入浅出的讲了大模型原理和知识，还推荐了很多学习的网站和材料，是牛逼人做的牛逼视频。简单介绍下视频里的内容：
- 什么是训练数据？以及从哪里获取
- 什么是 Token？我们和 AI 对又是如何转化成 Token 的
- 神经网络的输入输出
- 神经网络的内部结构
- 演示开源的 GPT2 是如何训练和推理的
- Meta 开源的 Llama 3.1 基础模型是如何推理的
- 什么是预训练和后训练
- 训练后的模型如何成为日常能对话的 AI
- 大模型的幻觉是如何产生的，为什老是自信的胡说八道，以及如何规避
- 大模型自我认知的问题（例：为什么问 DeepSeek 等模式你是谁，都会回答是 OpenAI）
- 大模型为什么需要 Token 进行思考
- 大模型的在数学、和认知上的缺陷（例子：9.9 和 9.11 的问题）
- 什么是人工监督微调和强化学习
- 强化学习的原理
- DeepSeek R1 如何通过强化学习变的强大
- AlphaGo 又是如何通过强化学习变强
- 强化学习和人类反馈的关系
- 大模型未来的发展方向
- 在哪追踪大模型的发展
- 在哪找到这些大模型
🔗 www.youtube.com/watch?v=7xTGNNLPyMI