YuE2
开源音乐生成模型YuE系列的迭代版本,专注于根据文本提示或歌词生成带有人声演唱和伴奏的完整音乐片段,支持歌词到人声的映射
时间轴 (近 90 天)
该训练器是围绕作者研究中开发的编码器和分词器脚本专门构建的,而非通用型工具的移植
YuE2 LoRA 训练器允许用户在 ComfyUI 的可视化节点环境中直接对 YuE2 音乐生成模型进行 LoRA 微调训练
开发者 filliptm 与 MachineDelusions 合作为 ComfyUI 开发了一套 YuE2 LoRA 训练器
缺少编码器意味着用户无法将自己的音乐输入 YuE2 模型进行微调
一位开发者训练出了 YuE2 官方从未发布的缺失编码器
开发者用 YuE2 跨越多种音乐流派生成了数千首歌曲以形成音频—标记配对数据
该方案使用 YuE2 自己的解码器对编码器进行自监督验证:若编码器为真实音频产出的标记经解码器重建能还原原始音频,则说明标记正确
开发者已将脚本和 tokenizer 权重包含在仓库中供他人取用
YuE2 生成的每一首歌都自带产生它的精确标记,因此每次生成都是天然的带标签样本
YuE2 的底层工作机制是先生成语义标记(semantic tokens),再将标记转换成实际音频
还有 4 条时间轴事件
全部知识事实 (14)
YuE2 LoRA 训练器允许用户在 ComfyUI 的可视化节点环境中直接对 YuE2 音乐生成模型进行 LoRA 微调训练
50%待验证该训练器是围绕作者研究中开发的编码器和分词器脚本专门构建的,而非通用型工具的移植
50%待验证YuE2 官方从未公开发布将已有录音转换成语义标记的编码器
50%待验证缺少编码器意味着用户无法将自己的音乐输入 YuE2 模型进行微调
50%待验证YuE2 生成的每一首歌都自带产生它的精确标记,因此每次生成都是天然的带标签样本
50%待验证YuE2 的底层工作机制是先生成语义标记(semantic tokens),再将标记转换成实际音频
50%待验证开发者用 YuE2 跨越多种音乐流派生成了数千首歌曲以形成音频—标记配对数据
50%待验证该方案使用 YuE2 自己的解码器对编码器进行自监督验证:若编码器为真实音频产出的标记经解码器重建能还原原始音频,则说明标记正确
50%待验证项目本身不包含模型权重,用户需自行下载 YuE2 相关文件并放置到指定位置
50%待验证ComfyUI-Olm-YuE2 是由开发者 o-l-l-i 打造的自定义节点集,将 YuE2 音乐生成模型集成进 ComfyUI 工作流
50%待验证YuE 是一个开源音乐生成模型系列,能根据文本提示或歌词生成带有人声演唱和伴奏的完整音乐片段
50%待验证开发者 filliptm 与 MachineDelusions 合作为 ComfyUI 开发了一套 YuE2 LoRA 训练器
50%待验证开发者已将脚本和 tokenizer 权重包含在仓库中供他人取用
50%待验证一位开发者训练出了 YuE2 官方从未发布的缺失编码器
50%