[控场AI]
模型YuE2 / Yue2

YuE2

开源音乐生成模型YuE系列的迭代版本,专注于根据文本提示或歌词生成带有人声演唱和伴奏的完整音乐片段,支持歌词到人声的映射

时间轴 (近 90 天)

9月15日

该训练器是围绕作者研究中开发的编码器和分词器脚本专门构建的,而非通用型工具的移植

待验证50%
9月15日

YuE2 LoRA 训练器允许用户在 ComfyUI 的可视化节点环境中直接对 YuE2 音乐生成模型进行 LoRA 微调训练

待验证50%
9月15日

开发者 filliptm 与 MachineDelusions 合作为 ComfyUI 开发了一套 YuE2 LoRA 训练器

待验证50%
9月14日

缺少编码器意味着用户无法将自己的音乐输入 YuE2 模型进行微调

待验证50%
9月14日

一位开发者训练出了 YuE2 官方从未发布的缺失编码器

待验证50%
9月14日

开发者用 YuE2 跨越多种音乐流派生成了数千首歌曲以形成音频—标记配对数据

待验证50%
9月14日

该方案使用 YuE2 自己的解码器对编码器进行自监督验证:若编码器为真实音频产出的标记经解码器重建能还原原始音频,则说明标记正确

待验证50%
9月14日

开发者已将脚本和 tokenizer 权重包含在仓库中供他人取用

待验证50%
9月14日

YuE2 生成的每一首歌都自带产生它的精确标记,因此每次生成都是天然的带标签样本

待验证50%
9月14日

YuE2 的底层工作机制是先生成语义标记(semantic tokens),再将标记转换成实际音频

待验证50%

还有 4 条时间轴事件

全部知识事实 (14)

待验证

YuE2 LoRA 训练器允许用户在 ComfyUI 的可视化节点环境中直接对 YuE2 音乐生成模型进行 LoRA 微调训练

50%
待验证

该训练器是围绕作者研究中开发的编码器和分词器脚本专门构建的,而非通用型工具的移植

50%
待验证

YuE2 官方从未公开发布将已有录音转换成语义标记的编码器

50%
待验证

缺少编码器意味着用户无法将自己的音乐输入 YuE2 模型进行微调

50%
待验证

YuE2 生成的每一首歌都自带产生它的精确标记,因此每次生成都是天然的带标签样本

50%
待验证

YuE2 的底层工作机制是先生成语义标记(semantic tokens),再将标记转换成实际音频

50%
待验证

开发者用 YuE2 跨越多种音乐流派生成了数千首歌曲以形成音频—标记配对数据

50%
待验证

该方案使用 YuE2 自己的解码器对编码器进行自监督验证:若编码器为真实音频产出的标记经解码器重建能还原原始音频,则说明标记正确

50%
待验证

项目本身不包含模型权重,用户需自行下载 YuE2 相关文件并放置到指定位置

50%
待验证

ComfyUI-Olm-YuE2 是由开发者 o-l-l-i 打造的自定义节点集,将 YuE2 音乐生成模型集成进 ComfyUI 工作流

50%
待验证

YuE 是一个开源音乐生成模型系列,能根据文本提示或歌词生成带有人声演唱和伴奏的完整音乐片段

50%
待验证

开发者 filliptm 与 MachineDelusions 合作为 ComfyUI 开发了一套 YuE2 LoRA 训练器

50%
待验证

开发者已将脚本和 tokenizer 权重包含在仓库中供他人取用

50%
待验证

一位开发者训练出了 YuE2 官方从未发布的缺失编码器

50%

来源文章