LLaMA-Factory,使用零代码命令行与 Web UI 轻松微调百余种大模型↓
LLaMA-Factory是高效的大语言模型(LLM/VLM)微调平台,支持超百种模型(如 LLaMA、Mistral、Qwen、Gemma 等),目标是简化复杂的模型调优流程,提供从模型选择、训练、监控到部署的一站式解决方案。
特点:
1. 广泛模型支持:兼容 LLaMA、Mixtral、Yi、Baichuan、ChatGLM、Phi 等,并持续增加 Llama 4、Qwen2.5 等新模型。
2. 多样化微调方法:支持监督式微调(SFT)、PPO、DPO、ORPO 等偏好学习方法,提供 LoRA、QLoRA、全量参数训练,以及 GaLore、LoRA+、PiSSA 等优化技术。
3. 高效加速与推理:集成 FlashAttention-2、Unsloth、Liger Kernel 等加速器,兼容 Transformers 与 vLLM,提升训练推理速度。
4. 可视化与 WebUI:内置 LlamaBoard、TensorBoard、Wandb 等监控工具,并提供简单易用的 Web 界面,让用户低代码即可完成模型微调、测试和导出。
5. 易用性强:支持 Google Colab 和本地环境,几行命令即可启动 WebUI;也能纯命令行定制化训练,适合新手与专业用户。
项目:github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md
#人工智能##科技# http://t.cn/AXPiO6YW
发布于 北京
