看到了个 HuggingFace 的从0预训练大模型的框架——picotron （擎天棍？哈哈哈）

这个库更注重于教学，核心部分的文件，每个代码都不到300行。（这里还是来个小技巧，看不懂源代码可以塞给AI让AI给你讲是干什么的。见图2）另外官方还给了视频教程，可以说是十分贴心了。

注意目前这个框架略落后于业界主流水平，现在主流的训练框架分片策略会更强，以及支持混合精度训练，梯度压缩，动态损失缩放等等。不过这个仍然是个很好的教学框架。

地址：github.com/huggingface/picotron

#ai生活指南# #ai创造营#