【10人明星团队炼出首个微调Llama 3.1 405B！角色扮演一秒入戏，代码全开源】Llama 3.1的405B模型终于等来了首个微调版本！
这个模型名为Hermes 3，来自初创公司Nous Research，是一个相当小型且低调的团队。

虽然公司低调，但技术实力相当强悍。Hermes系列已经微调了Mistral、Yi、Llama等多个开源模型，下载量超过3300万次。

跟着模型一起发布的，还有完整的技术报告和博客，Lambda Chat也同时在聊天界面中集成了模型。

从技术报告和博客来看，Nous Research的这次微调颇有成效，在使用了FP8量化后还能保持相当水准的模型性能。

这种优化有效地将模型的VRAM和磁盘需求降低了约50%，使其能够在单个节点上运行，方便更多开发者部署使用。

除此之外，SFT和DPO的微调过程经过了专门设计，让模型的对话能力和指令遵循能力大大增强，擅长复杂的角色扮演和创意写作。

除了创造力，Hermes 3还扩展出了函数调用、分步推理等智能体相关的功能，对于需要高级推理和决策能力的专业人士来说也是一个宝贵的工具。
论文地址：http://t.cn/A6RvlSRf
文章：http://t.cn/A6RvlSRV