全双工语音大模型的"抢话"难题：因果分析与实时抑制方法

全双工语音大模型正在改变人机对话的交互方式。以 Moshi 及其衍生模型 PersonaPlex 为代表的语音到语音（Speech-to-Speech）LLM，能够边听边说，实现真正的并发生成。但这类模型有一个尴尬的毛病：在用户长时间沉默时，它们会"没话找话"，突然自顾自地开口说话。一项发表于 arXiv 的研究系统地剖析了这一现象的成因，并提出了无需重训练、可实时运行的抑制方案。

全双工语音模型为何会"自说自话"

全双工生成是这类语音大模型的核心卖点——模型可以在监听用户输入的同时组织并输出自己的语音，而不必等待用户说完再回应，这更接近人类自然对话的节奏。然而这种能力也带来了副作用。

研究者在实验中给模型输入"数字零"（digital-zero，即纯静默）信号，观察它们在五分钟连续片段中的表现。结果显示，Moshi 在 40 次测试中有 12 次出现了不当开口，PersonaPlex 则是 11/40。也就是说，大约四分之一的情况下，模型会在用户完全没有说话时突然发声。这种被称为"虚假开口"（spurious onset）的行为，严重影响了对话体验的自然度和可靠性。

究竟是采样问题，还是条件依赖问题

为了找到根因，研究者提出并检验了两个假设。

假设一：重复采样偶然触发

第一种可能是，即使模型给出的开口概率一直很低，但由于持续不断地重复采样，总有小概率事件被"抽中"，从而触发发声。如果是这种机制，那么问题本质上是长时间生成累积的概率漏洞。

假设二：自我输出的条件反馈

第二种可能更微妙：模型将自己此前生成的"非语音"输出作为条件，反过来导致开口概率突然飙升。换句话说，模型的自我状态会形成某种正反馈。

实验数据明确支持了第二种假设。研究发现，在每一次观察到的虚假开口发生时，语音概率会在单个 80 毫秒的帧内暴涨超过九个数量级。这种断崖式的突变说明，问题不是随机采样的累积，而是模型对自身历史输出的条件依赖造成的概率跳变。

用因果反事实提问来精准抑制

找到病因后，真正的挑战在于：如何在不误伤真实回应的前提下，抑制这些虚假开口。如果简单粗暴地压制所有发声倾向，模型可能连用户真正需要回答时也不吭声了。

研究者的思路颇具巧思——引入一个因果反事实（causal counterfactual）问题：模型此刻的发声，究竟是在回应用户的语音，还是即便把之前的用户输入静音，它的下一个 token 分布也几乎不变？

如果把用户输入"抹掉"后，模型的输出分布几乎没有变化，说明这次开口与用户无关，属于虚假开口，应当抑制；反之，如果分布发生显著改变，说明模型确实是在对用户说话做出反应，应当保留。这个基于干预（intervention）的判据，本质上是在区分"由用户驱动"和"由模型自身驱动"的发声行为。

实测效果与实时性表现

方法在真实麦克风噪声环境下进行了验证。每个模型进行 40 次留出（held-out）测试，结果相当亮眼：

• 虚假开口抑制：成功抑制 Moshi 的全部 13/13 次虚假开口，以及 PersonaPlex 的全部 9/9 次；
• 真实回应保留：两个模型各 40/40 次真实回应全部得以保留，没有误杀；
• 实时性：该方法作用于推理阶段，无需重新训练模型，且能实时运行，第 95 百分位决策时间低于 61 毫秒，稳稳落在 80 毫秒的单帧预算之内。

换句话说，这套方案在不改动模型权重、不增加明显延迟的情况下，几乎完美地解决了"抢话"问题。对于要部署到实际产品中的语音助手而言，推理时（inference-time）即插即用的特性极具吸引力。

对语音交互产品的意义

随着语音大模型走向全双工、低延迟的自然交互，"什么时候该说话"和"什么时候该沉默"成为决定体验的关键细节。这项研究的价值不仅在于给出了一个工程解法，更在于用因果分析的视角厘清了问题的本质：虚假开口源于模型对自身输出的条件反馈，而非采样噪声。

基于反事实干预的判据也提供了一种通用的思路——通过"如果输入不存在会怎样"的假设检验，来判断模型行为是否真正由外部信号驱动。这类方法或许能推广到更多需要区分"主动生成"与"被动响应"的场景。研究团队已在 GitHub 开源了相关代码，便于社区复现与拓展。