AVCC：首个视听轮流预测人类基准数据集

为什么轮流预测需要新基准

对话代理和社交机器人若想自然地参与对话，必须能在沉默之前预判「谁接下来会说话、什么时候说」。这种能力被称为多方可轮流预测（Multiparty Next-Speaker Prediction, NSP）。然而，现有研究大多依赖每位说话者单独配备传感器的语料库，每个语料库对事件的定义也各不相同。更关键的是，目前没有公开基准能覆盖机器人实际拥有的单一摄像头和麦克风配置，也没有任何模型被拿来与人类在同一任务上的表现进行对比。

AVCC 正是为了填补这一空白而生。研究者将一个 31 小时的视听语料库——包含两人和三人在线对话、仅用单个静态摄像头和麦克风录制——转化为公开的 NSP 基准。这项工作不仅提供了数据，还建立了人类参考基准，让模型性能有了可解释的对照。

AVCC 语料库与基准概览

多方可轮流预测（NSP）在学术语境中通常被形式化为一个二分类问题：在对话的每一个“沉默间隙”（即当前说话人停止发言、尚未有人接话的时刻），系统需要判断接下来是当前说话人继续（hold）还是由其他人接替（shift）。这与传统的“下一说话人识别”任务不同——后者往往假设说话人切换已经发生，只需识别是谁；而 NSP 要求在切换发生之前进行预判，因此对时序建模和线索捕捉的要求更高。在多方对话中，NSP 还需要处理说话人数量动态变化、重叠发言、以及非语言线索（如 gaze、点头）的整合问题，这使得单一传感器条件下的预测尤为困难。

基准构建：从语料到可复现评测

测试集设计

为避免说话人重叠带来的信息泄露，研究团队构建了一个说话人分离的七视频测试分区，包含 865 个 hold 事件和 865 个 shift 事件，这些事件均发生在双方沉默的间隙。这种平衡设计让模型必须在「保持当前说话人」和「切换说话人」之间做出对称判断，避免了类别不平衡带来的虚高准确率。

标注与转录

整个语料库都配备了词级强制对齐转录文本，这为分析语言线索（如话轮结束时的句法完整性）提供了基础。同时，研究者在相同事件上收集了人类参考基准数据，每位响应者的判断都被记录并随数据集一同发布。

词级强制对齐转录（word-level forced alignment transcription）是指利用声学模型和语言模型，将已知的转录文本与音频信号进行时间对齐，从而为每个词标注出精确的起止时间戳。这一技术依赖一个预先给定的文本脚本，然后通过动态规划或 HMM 等方法寻找文本与音频帧之间的最优匹配路径。在 NSP 研究中，词级对齐的价值在于：研究者可以精确知道每个话轮结束时最后一个词的时间位置，进而分析话轮结束处的句法完整性、语调边界等语言线索是否与 hold/shift 事件相关。没有这种对齐，就只能使用粗粒度的句子级时间标注，难以捕捉话轮转换附近的细粒度语言特征。

可复现性

标签、转录文本、逐响应的人类数据以及复现每一个数字的脚本均已公开。这一做法在对话预测研究中并不常见，却对基准的长期价值至关重要——后来者可以精确复现基线结果，并在此基础上公平比较。

模型对比：音频单模态 vs. 多模态

研究者评测了两个模型：仅音频的 Role-Relative VAP（RoleVAP）和多模态的 MuVAP。RoleVAP 基于角色相对视角的语音活动预测，只利用音频流；MuVAP 则融合视觉信息。两者在同一测试集上与人类基准进行比较。

这种设置揭示了两个关键问题：第一，在单摄像头、单麦克风的现实条件下，多模态信息是否真的带来增益；第二，当前模型与人类判断之间的差距有多大。虽然原文未披露具体数值，但基准的建立本身已经让这类比较成为可能。

Role-Relative VAP 中的 VAP 指 Voice Activity Projection，即语音活动预测。传统 VAP 模型将对话中每个说话人的语音活动状态作为时间序列进行建模，预测未来一段时间内各说话人的活动概率。Role-Relative 的改进在于采用“角色相对”视角：不依赖固定的说话人身份标签，而是以当前说话人为参照系，将其他参与者表示为相对于当前说话人的角色（如“下一个可能发言者”），从而让模型在不同对话和不同说话人配置之间具有更好的泛化能力。MuVAP 则是在此基础上引入视觉模态（如面部朝向、唇动等），通过多模态融合来增强预测。理解这两个模型的架构差异，有助于把握“多模态是否真的带来增益”这一评测问题的技术内涵。

人类基准的意义

在轮流预测任务中，人类表现并非完美——人们也会误判对方是否即将发言。将人类数据作为参考基准，而非天花板，能更诚实地反映任务难度。模型若在某些事件上超越人类平均水平，可能意味着它捕捉到了人类忽略的统计规律；若大幅落后，则说明现有方法在真实感官配置下仍有明显短板。

AVCC 的发布为对话系统研究提供了一个更贴近机器人实际部署条件的评测平台，也把「与人比较」变成了基准的标配。

对机器人与对话代理的启示

单摄像头和单麦克风的配置意味着系统无法依赖每个说话人的独立传感器，必须从混合信号中解析话轮线索。AVCC 的两人和三人对话场景覆盖了多人交互中更复杂的轮流动态。对于构建社交机器人的团队而言，这一基准的价值在于：它定义了一个可复现的评测协议，让不同方法可以在同一条件下较量，而不是各自在私有语料上报告不可比的数字。

随着基准的公开，预计会有更多模型在 AVCC 上接受检验，推动轮流预测从「等待沉默」走向「预判发言」。