Drama 3
Fish Audio发布的开源语音生成大模型,采用MoE架构,总参数35B、激活参数约3B,支持导演式自然语言控制、词级inpainting、多角色对话生成和语言切换等功能。
时间轴 (近 90 天)
Fish Audio 发布语音模型 Drama 3,在 Artificial Analysis 的两个语音竞技榜单中均位列开放权重模型第一,在发音稳健性测试中位列所有模型第一,使用服务商提供的声音进行文本转语音测试时 ELO 得分为 1278。
Fish Audio 在 Product Hunt 上发布了 Drama 3 模型,主打可导演性(情绪、节奏、停顿的自然语言控制)。
建议创作者用真实剧本测试 Drama 3,重点关注单句内情绪切换的稳定性和多角色的一致性。
Drama 3 官方发布时未给出各语种的质量对比数据。
Drama 3 在 Product Hunt 上获得 91 票、排名第 8,评论数为 5 条。
Drama 3 的接入方式覆盖网页端、移动端、API,并在 Fish Audio 社区许可下支持开放权重自托管。
Drama 3 面向四类内容:多角色场景、有声书、游戏对白和旁白解说。
Drama 3 以 MoE 架构切入 TTS 赛道,代表了一种用稀疏激活的大模型捕捉语音复杂模式同时控制推理成本的新思路。
Fish 团队发布了全新的文本转语音模型 Drama 3,采用 35B 总参数、3B 激活参数的 MoE 架构。
Drama 3 在 DGX Spark 上运行表现良好。
还有 30 条时间轴事件
全部知识事实 (20)
Fish Audio 发布语音模型 Drama 3,在 Artificial Analysis 的两个语音竞技榜单中均位列开放权重模型第一,在发音稳健性测试中位列所有模型第一,使用服务商提供的声音进行文本转语音测试时 ELO 得分为 1278。
50%待验证Drama 3 的接入方式覆盖网页端、移动端、API,并在 Fish Audio 社区许可下支持开放权重自托管。
50%待验证Drama 3 面向四类内容:多角色场景、有声书、游戏对白和旁白解说。
50%待验证建议创作者用真实剧本测试 Drama 3,重点关注单句内情绪切换的稳定性和多角色的一致性。
50%待验证Drama 3 的 4bit 量化版本表现非常接近原始模型。
50%待验证Drama 3 以 MoE 架构切入 TTS 赛道,代表了一种用稀疏激活的大模型捕捉语音复杂模式同时控制推理成本的新思路。
50%待验证Fish 官方仅说明 Drama 3 在 DGX Spark 上运行表现良好,但未给出实时率(RTF)、并发数等硬指标。
50%待验证Drama 3 在 DGX Spark 上运行表现良好。
50%待验证多数开源语音模型参数停留在几亿到十几亿区间,35B 级别的开放权重 TTS 模型仍然少见。
50%待验证Drama 3 覆盖 83 种语言。
50%待验证Drama 3 接受自然语言指令(plain-language direction)控制语音,而非需要专业调参的音色标签或参数面板。
50%待验证Drama 3 采用开放权重发布,附带营收上限社区许可(revenue-capped community license),商业使用存在营收门槛。
50%待验证Drama 3 的命名容易让人误解,其实际是另一条产品线的第三代,而非 S2 系列的延续。
50%待验证Drama 3 是混合专家(MoE)模型,总参数量 35B,每个 token 只激活约 3B 参数。
50%待验证Drama 3 在 Artificial Analysis 的发音鲁棒性基准上得分 93.2%,排名第一,上一代 S2.1 Pro 为 88.1%。
50%待验证在文件路径、邮箱地址等精确序列上,Drama 3 的准确率从 79.4% 提升到 86.3%。
50%待验证Drama 3 支持导演式控制,用户可插入 [barely holding it together, forcing a smile] 等自然语言指令,且指令语言可以与台词语言不同。
50%待验证Drama 3 支持词级 inpainting,可只替换音频中的一个词,并保持前后语气和节奏无缝衔接。
50%待验证Drama 3 支持多角色同场生成,每个角色分配 voice ID 并按轮次标注,可在同一请求内生成整段对话。
50%待验证Drama 3 采用 Fish Audio Community License v1.0,研究和非商业用途免费;年收入低于 50 万美元的商业用途免费;超过门槛或转售 API 需单独谈授权。
50%