模型
EnCodec
Meta开发的神经网络音频编解码器，可将音频压缩为离散token序列并重建，广泛用于AI音乐生成模型的声学编码层
时间轴 (近 90 天)
10月23日
传统TTS管线依赖声学分词器（如离散codec，常见实现包括SoundStream、EnCodec），通过残差矢量量化将音频离散化。
待验证50%
10月7日
音频条件化技术实现上通常借助预训练音频编码器（如 CLAP、EnCodec）将参考音频压缩为嵌入向量，再以交叉注意力或 AdaLN 机制注入生成网络
待验证50%
10月3日
离散token方案（如EnCodec、SoundStream、Mimi）每个时间步需预测一组残差向量量化码本，Mistral场景多达30多个码本会显著增加生成延迟
待验证50%
10月2日
部分研究尝试将音频编码为离散token序列（如EnCodec、SoundStream），从而让语言模型读写音频
待验证50%
全部知识事实 (5)
待验证
音频原生架构直接在梅尔频谱图或量化音频编码（如 EnCodec 产生的离散音频 Token）上进行自注意力计算，从而捕捉文本表示中缺失的韵律、情绪和说话人身份信息
60%待验证传统TTS管线依赖声学分词器（如离散codec，常见实现包括SoundStream、EnCodec），通过残差矢量量化将音频离散化。
50%待验证音频条件化技术实现上通常借助预训练音频编码器（如 CLAP、EnCodec）将参考音频压缩为嵌入向量，再以交叉注意力或 AdaLN 机制注入生成网络
50%待验证离散token方案（如EnCodec、SoundStream、Mimi）每个时间步需预测一组残差向量量化码本，Mistral场景多达30多个码本会显著增加生成延迟
50%待验证部分研究尝试将音频编码为离散token序列（如EnCodec、SoundStream），从而让语言模型读写音频
50%