模型
SoundStream
基于残差向量量化与多码本的神经音频编解码器,支持低码率流式音频压缩
时间轴 (近 90 天)
10月23日
传统TTS管线依赖声学分词器(如离散codec,常见实现包括SoundStream、EnCodec),通过残差矢量量化将音频离散化。
待验证50%
10月3日
离散token方案(如EnCodec、SoundStream、Mimi)每个时间步需预测一组残差向量量化码本,Mistral场景多达30多个码本会显著增加生成延迟
待验证50%
10月2日
部分研究尝试将音频编码为离散token序列(如EnCodec、SoundStream),从而让语言模型读写音频
待验证50%