#紫东动态# ，中国科学院自动化研究所联合快手、南京大学建立了MM-RLHF——一个包含12万对精细标注的人类偏好比较数据集，并基于此数据集进行多项创新，从数据集，奖励模型以及训练算法三个层面入手推动多模态大语言模型对齐的发展。
研究团队在10个评估维度，27个基准测试上对提出的方案进行了严格评估。结果表明，模型性能得到了显著且持续的提升。比较突出的是，基于提出的数据集和对齐算法对LLaVA-ov-7B模型进行微调后，其对话能力平均提升19.5%，安全性平均提升60%。
详细介绍：http://t.cn/A6Bv7SY8
项目主页：http://t.cn/A6Bv7SYT