YuE2：统一乐谱与音频生成的音乐开源大模型 #微博视频号续航计划#
感觉生成的音频效果相当不错。比如视频是推友Michael Guo用该模型生成的《不说出口的华尔兹》~
规模约为 3.58B 。这个模型的流程是让 AI 像音乐创作者一样，先完成作曲规划，再将乐谱转化为高质量的歌曲音频。

YuE2 的主要特色是：
第一，引入显式的音乐创作规划。 模型会先生成包含旋律、和弦、节奏、调性和段落结构的乐谱，使歌曲在生成前就具备明确的音乐组织。
第二，统一符号与音频生成。 YuE2 在同一个模型中完成作曲规划、音乐语义建模和音频生成，使音乐结构与最终声音之间形成更紧密的联系。
第三，支持可控的音乐创作与编辑。 用户不仅可以生成新歌曲，还能够修改乐谱中的局部旋律或和弦，并重新生成音频；同时支持基于现有歌曲进行不同风格的翻唱创作。

详细介绍：github.com/multimodal-art-projection/YuE/

模型的开发者是香港科技大学等~ http://t.cn/AXlc6PH8