【用Hugging Face的PEFT和DeepSpeed ZeRO-3在16块A100 GPU上微调Falcon 180B模型】
- DeepSpeed ZeRO通过在设备间分配优化器状态、梯度和参数来实现巨大的内存节省。
- PEFT只微调少量额外参数而冻结大多数预训练参数，极大降低了计算和存储成本。
- 使用了Flash Attention和Gradient Checkpointing加速训练速度并减少显存消耗。
- 在Chat-Instruct-Mixer数据集上进行了微调，训练了5000步。
- 整个训练只花费了36小时，相当于864美元的成本。
- 得到的模型在Open LLM Leaderboard的指标上比官方的Falcon 180B提升了3%。
- 结果表明，使用PEFT和DeepSpeed微调巨大语言模型是计算资源有限场景下的一个可行方案，既省计算也获得更好的效果。
《Falcon 180B Finetuning using 🤗 PEFT and DeepSpeed | by Sourab Mangrulkar | Oct, 2023 | Medium》 http://t.cn/A6OgPpBk #机器学习#