GSLM2：多流语音表征学习缩小语音与文本模型差距

语音语言模型（SLM）有望直接从语音中学习语言结构，但相比文本模型，其在能力和数据扩展效率上仍落后显著。Meta 的研究团队指出，这一差距源于两个瓶颈：现有语音单元的语言质量有限，以及仅依赖单流离散单元来表征语音。为此，他们提出 GSLM2，通过多层级、多流的表征学习来缩小这一差距。

GSLM2 论文来源截图

两个瓶颈：语音单元质量与单流表征

当前生成式语音语言模型通常将语音编码为离散单元序列，再像语言模型一样建模。然而，这些单元往往更偏向声学特征，而非语言内容。同时，尽管多码本（multi-codebook）在声学特征编码中广泛使用，却很少用于表示语音语义。GSLM2 的核心思路是让模型在多个抽象层级上学习互补的语音属性，而不是将所有信息压缩到单一流中。

多码本（multi-codebook）与单流离散单元：在神经语音编码中，多码本指用多个并行的离散码本（每个码本含若干码字）分别量化语音的不同成分，再组合还原波形；典型代表如 EnCodec、SoundStream 等声学编解码器。它能以较低码率保留高保真声学细节，因此长期用于语音压缩与生成。单流离散单元则相反，把每帧语音压缩成一个离散符号序列，形式最接近文本 token，便于直接用语言模型建模，但信息容量有限，容易把韵律、音色等声学信息与语言内容混在同一流里。GSLM2 的出发点正是：既然语音同时携带音素、音节、词、句法等多层信息，就应像多码本那样用多流、多层级单元来分层表征，而不是强行压进单一序列。

SpidR 2.0：多层级高质量离散单元

GSLM2 的编码器名为 SpidR 2.0，采用自监督学习，并引入可微分预测头（differentiable prediction heads）来在多层级上诱导高质量的离散单元。与以往方法相比，SpidR 2.0 旨在生成语言质量更高的单元，为后续的多流建模奠定基础。这一设计直接针对第一个瓶颈——提升语音单元的语言学品质。

自监督语音表征与可微分预测头：自监督学习指不依赖人工转写，而是从语音本身构造训练目标（如对比学习、掩码预测）来学习表征，wav2vec 2.0、HuBERT、WavLM 是代表性工作。SpidR 系列在此基础上进一步把连续表征离散化。所谓可微分预测头，是指在编码器输出之上接若干轻量预测网络，每个头负责一个抽象层级（如声学帧级、音素级、词级）的预测目标；由于整个路径可端到端求导，离散化（如向量量化或 Gumbel-Softmax）带来的梯度可以通过这些头回传，从而让编码器直接为“产生高质量离散单元”而优化，而不是先学连续特征再事后聚类。这正是 SpidR 2.0 能在多个层级上同时诱导出语言质量更高单元的关键机制。

多流 SLM：共享骨干与跨流依赖

在获得多层级单元后，GSLM2 使用一个多流 SLM 进行联合建模。该模型包含共享的时间骨干网络、针对每个流独立的预测器，以及一个捕捉跨流依赖的自回归头。这种架构允许模型同时处理多个抽象层级的语音信息，而不是依赖单一流。通过共享骨干，模型能够高效利用数据；通过流特定预测器和自回归头，模型又能捕捉不同流之间的互补关系。

共享骨干与流特定预测器：多流建模借鉴了多任务学习与混合专家式的思路。共享时间骨干（通常为 Transformer）在所有流上复用同一套参数，使不同抽象层级的单元共享时序上下文并摊薄训练数据需求；流特定预测器则为每个流保留独立的输出头，避免不同层级的统计特性相互干扰。跨流自回归头负责建模流与流之间的依赖，例如高层语义单元对低层声学单元的约束。这种“共享+分离”结构在参数量与数据效率之间取得平衡，也是 GSLM2 在扩大数据与参数时仍能稳定获益的架构基础。

扩展规律：数据与参数规模下的稳定提升

研究团队在高达 600 万小时训练数据和 65 亿参数的模型规模上进行了实验。结果显示，GSLM2 在不同数据规模和模型规模下均能持续提升语言能力，并且随数据扩展的效率更高。这意味着多流表征方法不仅有效，而且具备良好的可扩展性，为语音模型的数据 Scaling 提供了新路径。

评测表现：语音与文本差距大幅缩小

在朗读和对话语音领域，GSLM2 在 sWuggy、sBLIMP 和 tSC 三个任务上大幅缩小了语音模型与文本模型之间的差距。据论文所述，差距缩小了约两个数量级，同时在所有三个任务上超越了竞品语音-文本系统。这一结果说明，高质量多层级单元与多流建模的结合能够显著提升语音模型的语言学 competence。

sWuggy、sBLIMP 与 tSC：这三个任务构成零样本语音语言理解评测套件，用于衡量模型是否掌握了类似文本模型的语言学知识，而无需任何微调。sWuggy 给出一个真实伪词和一个改动一个音素的非词，要求模型判断哪个更像真实词汇，考察词汇与音位知识；sBLIMP 给出语法正确与语法错误的成对句子（如主谓一致、否定一致），要求模型选出合法句，考察句法能力；tSC 即 Topic Score Comprehension，用替换关键词的成对句子测试语义理解。三者都以“成对比较、选概率更高者”的形式评估，因而可直接比较语音模型与文本模型在同一尺度上的语言学 competence，是衡量语音-文本差距的常用标尺。