又一个必读内容,Huggingface 出品的 LLM 训练手册
非常详细的介绍了完整的 LLM 训练流程,包括训练指南(是否需要预训练)、预训练、后训练、基础设施
主要以他们自己训练的 SmolLM3 这个 3B 模型为例子
文章或者说手册包含了他们训练模型过程中对一系列决策、发现和死胡同的梳理,全是实践经验#ai创造营#
详情:huggingface.co/spaces/HuggingFaceTB/smol-training-playbook
发布于 北京
