Qwen3-SmVL：将SmolVLM2视觉模块与Qwen3-0.6B中文大语言模型拼接微调，实现超小中文多模态模型的有效融合。
• 采用拼接微调策略，替换SmolVLM2文本模块为Qwen3，重构特征映射层，实现视觉特征与文本特征对齐。
• 利用HuggingFace整合的The Cauldron大规模多模态数据集，覆盖50+视觉任务，数据样本超180万条，文本长度统一截断至2K Token。
• 冻结视觉与文本模型主体，仅微调特征映射与语言模型头，参数占比仅1.8%，显著提升训练效率与模型稳定性。
• 支持沐曦C500国产GPU及Nvidia 40G以上显卡，训练环境兼容性优异，采用bfloat16精度保证数值稳定。
• 保留Qwen3原有函数调用、推理等能力，新增视觉理解模块后，模型可准确理解中文图文输入，具备多模态问答能力。
• 训练日志全程记录于SwanLab，支持复现与对比，示范拼接微调方法论，助力国产AI硬件与多模态模型生态发展。

拼接微调突破了大语言模型与视觉模型的整合难题，最大化复用现有语言模型能力，避免了从零训练多模态模型的高昂代价。上下文格式设计与特殊Token管理是确保模型多模态语义连贯性的关键。通过冻结主体模型参数，仅调优连接层，实现了高效且稳定的模型融合路径，具备长远工程实践与研究价值。

🔗 详见项目与训练日志：
github.com/ShaohonChen/Qwen3-SmVL

#多模态AI# #视觉语言模型# #国产GPU# #Qwen3# #SmolVLM2# #深度学习# #模型微调#