#模型时代##VibeLearning# 一位 OpenAI 新研究员的复习,是从这门CS336斯坦福课开始的,所以做了这样一本开源电子书。
最近有一个中美都刷屏的求职笔记:刚入职 OpenAI 的华盛顿大学博士 Alisa Liu 讲了自己如何拿到工作机会的。
其中她提到,准备面试、把脑子里零散的大模型知识理成系统认知,正是从看完斯坦福《Language Modeling from Scratch》(CS336)的全部讲座开始的,还特别强调第一份作业,亲手实现 Transformer,是一个值得练成肌肉记忆。
不过,要在Youtube刷完这个课程是有难度的,多数人可能只想感受一下课程的主旨。所以本着Vibe Learning的态度。我把这 17 讲完也整理成了一本中文电子书《从零构建语言模型》:口号是面向高中生也能读懂,完整、准确、一个专业术语都不删,从分词一路讲到对齐,还配了二十多张原创图。
免费开源,HTML 和 PDF 都有,地址在这里:
github.com/feigaobox10/llm-from-scratch-reader
预览在这里:
feigaobox10.github.io/llm-from-scratch-reader/
本书三个特点:
一是完整,课程讲到的核心问题、关键论证和重要数据都尽量保留;
二是准确(能力范围之内),忠于课程原意,只做书面化整理,不替讲者改观点;
三是一个专业术语都不删——每个术语第一次出现都写成"中文(English)"并讲清楚。读完之后,分词、缩放定律、KV 缓存、强化学习对齐这些概念,不仅能认得,还能讲给别人听。
发布于 日本
