GPT-SoVITS
开源AI语音合成工具,支持少量样本语音克隆,结合GPT和SoVITS技术
核心事实
时间轴 (近 90 天)
该项目的技术架构分为三层:Agent大脑(选用DeepSeek)、聊天通道(QQ桥方案)、声音与形象包装(GPT-SoVITS和RVC)。
GPT-SoVITS负责生成说话语音,RVC负责唱歌场景的音色转换,配合MSST等干声分离工具可完成角色翻唱。
IboChat 的 /speak 端点按顺序尝试三条语音路径:GPT-SoVITS(克隆音色最佳,耗时约 5–18 秒,仅支持英中日韩,加载后永久占用约 3.9GB 显存)、OmniVoice Studio(支持任意语言,耗时约 30–40 秒,通过 OpenAI 兼容端点调用)、Edge TTS(微软免费神经语音,无克隆能力,支持 24 种语言、零延迟、永不失败)。
GPT-SoVITS 是一个开源的少样本语音克隆与合成项目,结合 GPT 式自回归建模与 SoVITS 声学模型,只需几秒到几十秒目标音频即可克隆音色,官方预训练模型主要覆盖中、英、日、韩等语言。
IboChat 在 4GB 显存的单 GPU 上运行,GPT-SoVITS 和 OmniVoice 共享同一块 GPU,作者通过按需启动 GPT-SoVITS、看门狗线程在空闲 120 秒后杀死进程、每次调用 OmniVoice 前清空其显存来解决资源争抢导致的音频损坏问题。
全部知识事实 (7)
现代基于神经网络的TTS模型(如Tacotron、VITS、GPT-SoVITS等)能够生成接近真人的自然语音,并支持情感控制和音色克隆
65%待验证ASR市场支持创作者上架AI整合包,如Stable Diffusion WebUI、ComfyUI、GPT-SoVITS等
85%待验证该项目的技术架构分为三层:Agent大脑(选用DeepSeek)、聊天通道(QQ桥方案)、声音与形象包装(GPT-SoVITS和RVC)。
50%待验证GPT-SoVITS负责生成说话语音,RVC负责唱歌场景的音色转换,配合MSST等干声分离工具可完成角色翻唱。
50%待验证GPT-SoVITS 是一个开源的少样本语音克隆与合成项目,结合 GPT 式自回归建模与 SoVITS 声学模型,只需几秒到几十秒目标音频即可克隆音色,官方预训练模型主要覆盖中、英、日、韩等语言。
50%待验证IboChat 的 /speak 端点按顺序尝试三条语音路径:GPT-SoVITS(克隆音色最佳,耗时约 5–18 秒,仅支持英中日韩,加载后永久占用约 3.9GB 显存)、OmniVoice Studio(支持任意语言,耗时约 30–40 秒,通过 OpenAI 兼容端点调用)、Edge TTS(微软免费神经语音,无克隆能力,支持 24 种语言、零延迟、永不失败)。
50%待验证IboChat 在 4GB 显存的单 GPU 上运行,GPT-SoVITS 和 OmniVoice 共享同一块 GPU,作者通过按需启动 GPT-SoVITS、看门狗线程在空闲 120 秒后杀死进程、每次调用 OmniVoice 前清空其显存来解决资源争抢导致的音频损坏问题。
50%