语码转换ASR评测：WER为何失灵及替代方案

语码转换：语音识别的隐形难题

在多语言语音识别（ASR）的实践中，语码转换（Code-switching） 是最容易暴露工具短板的场景之一。所谓语码转换，指的是说话者在同一段对话、甚至同一句话中，自然地切换两种或多种语言。例如一位双语使用者可能说出「Je vais au meeting demain」这样英法混杂的句子。

语码转换作为一种语言现象，最早由语言学家在20世纪50年代开始系统研究。它并非语言能力不足的表现，恰恰相反，它是双语者高度熟练的语言策略。语言学界通常将其分为三种类型：句间切换（inter-sentential，在句子之间切换语言）、句内切换（intra-sentential，在一句话内部切换）和标签切换（tag-switching，插入另一语言的感叹词或固定短语）。其中，句内切换对ASR系统的挑战最大，因为它要求模型在极短的时间跨度内完成语言识别的切换，同时维持对句法结构的连贯理解。从社会语言学角度看，语码转换受到话题、对话者、场合等多种社会因素驱动——说话者可能因为某个概念在另一种语言中表达更精准、或出于身份认同和情感表达的需要而切换语言。在全球化背景下，这一现象愈发普遍——在多语言城市（如蒙特利尔、新加坡、香港）、跨国企业的日常会议和社交媒体中，混合语言交流已成为日常常态，这使得ASR系统对其支持变得越来越迫切。

一位 Reddit 用户在测试英语/法语混合录音的转录效果时提出了一个尖锐的问题：现有的评测指标真的能反映语码转换场景下的表现吗？ 他的观察颇具代表性——转录工具恰恰在「最关键的地方」出错，而传统的词错误率（WER）指标却显得过于平滑，无法捕捉这些致命失误。

这个问题触及了语音识别评测领域一个长期被忽视的痛点：当语言边界变得模糊时，我们该如何公平地衡量一个系统的好坏？

为什么WER在语码转换场景下失灵

WER的基本计算逻辑

词错误率（Word Error Rate, WER）是 ASR 领域最主流的评测指标，计算方式为：

WER = (替换 + 删除 + 插入) / 参考文本总词数

WER 将所有词错误一视同仁——无论错的是一个无关紧要的虚词，还是一个改变整句含义的关键实体词，扣分都是一样的。这正是原帖作者所说「WER feels too flat（WER 显得太平）」的核心含义。

WER自1990年代DARPA资助的大规模语音识别评测项目（如Hub-4广播新闻转录评测、Switchboard电话对话评测）以来，一直是ASR领域的事实标准指标。其计算基于编辑距离（Levenshtein距离）算法，通过动态规划找到参考文本与假设文本之间的最优对齐路径，然后统计对齐结果中替换、删除和插入操作的总数。具体而言，算法构建一个(M+1)×(N+1)的矩阵（M和N分别为参考文本和假设文本的词数），通过回溯路径确定每个词的对齐状态。WER之所以数十年来屹立不倒，是因为它计算简单、可复现、便于跨系统横向比较，且与人类对转录质量的主观感受在单语标准场景下有较好的相关性。然而，WER的设计隐含了几个重要假设：单一语言环境、标准化的正字法体系，以及所有词具有相对均匀的重要性。这些假设在纯英语新闻朗读等场景下基本成立，但在现实多语言应用中频繁被打破。

语码转换场景下WER面临的三重挑战

在混合语言场景中，WER 的缺陷被进一步放大：

第一，语言切换点的错误权重不足。 语码转换的失败往往集中在语言切换的边界处。系统可能把法语词误判为发音相近的英语词，或者在切换点丢失整个短语。但这些「关键失误」在 WER 中和普通错误没有区别。

语言切换点之所以成为ASR的重灾区，有深层的技术原因。在声学层面，说话者在切换语言时往往伴随着音素系统的突变——例如从英语的齿龈近音/ɹ/突然转为法语的小舌擦音/ʁ/，或者元音空间的急剧变化（英语有约15个元音音位，法语则有16个包含鼻化元音的音位，两者重叠但不完全相同）。声学模型需要在极短的时间窗口内（通常仅一两个音素的跨度）适应完全不同的发音体系。在语言模型层面，传统n-gram模型和单语训练的神经语言模型在遇到跨语言词序列时会给出极低的概率分数——例如「I'm going to the réunion」中「the」后面接法语词在英语语言模型中的条件概率几乎为零，导致解码器倾向于将外语词强行映射为发音相近的本语言词（beam search过程中低语言模型分数的路径被剪枝）。这就是为什么系统经常在切换点产生「听起来像但意思完全不对」的错误——例如将法语「réunion」（会议）误识别为英语「reunion」（重聚），虽然拼写相似但语义和使用语境完全不同。

第二，分词与标准化的歧义。 不同语言的分词规则不同，法语的连字符、缩合词（如 l'homme）以及英语的所有格形式，在计算 WER 前的文本标准化阶段就会引入不一致，导致评分失真。

文本标准化（text normalization）是WER计算前的关键预处理步骤，但在多语言场景中极易引入系统性偏差。以英法混合为例：法语中的缩合冠词如「du」（de+le的合并形式）应该算一个词还是两个词？省音形式如「l'homme」的撇号是否意味着这是两个独立token（"l'" 和 "homme"）？连字符复合词如「peut-être」（也许）、「c'est-à-dire」（也就是说）是否应拆分为多个词？这些决策直接影响参考文本的总词数——分母的变化会系统性地改变WER值。英语侧则有「don't」是否拆分为「do not」、数字「2024」是读作「two thousand twenty-four」还是「twenty twenty-four」、以及货币符号和缩写的展开规则等问题。更复杂的是，当两种语言的标准化规则相互冲突时（如法语中数字使用空格作千位分隔符而英语使用逗号），处理管道需要根据每个词的语言归属动态切换规则，这本身就预设了完美的语言识别。不同评测工具链（如Kaldi的scoring脚本、ESPnet的评测模块、HuggingFace的evaluate库）对这些边界情况的处理标准不一致，可能导致同一个ASR系统在不同评测框架下得到差异显著的WER值，严重时差异可达2-5个百分点——这个量级足以改变系统排名的结论。

第三，语言标签的缺失。 传统 WER 只关心「词对不对」，却不关心「语言判对没有」。而在双语场景中，识别出「这个词属于哪种语言」本身就是任务的一部分。例如，当系统将法语词「actuellement」（意为"目前"）识别为英语词「actually」（意为"实际上"）时，从WER角度看这只是一个普通的替换错误，但从实际应用角度看，系统不仅搞错了词，还搞错了语言归属，这是双重失败。在翻译管道中，错误的语言标签会导致后续处理将不需要翻译的词送入翻译引擎，或者将需要翻译的词直接保留，造成错误的级联放大。

更公平的语码转换评测指标

针对上述问题，学术界和工业界已经发展出一系列专门面向语码转换的评测方法。

CER与语言感知的错误率

对于形态复杂或分词困难的语言，字符错误率（CER） 有时比 WER 更稳健，因为它绕过了分词歧义。CER将评测粒度下沉到字符级别，使用与WER相同的编辑距离算法但以字符为基本单位，因此不受分词标准差异的影响。对于中文、日文等没有显式词边界的语言，CER更是天然的首选指标。但 CER 同样无法区分错误的严重程度——错一个重音符号和错一个完整音节在CER中获得的惩罚可能不成比例。此外，不同语言的字符平均信息量差异巨大（中文一个字可能对应英语4-5个字母），导致跨语言的CER难以直接比较。

更有针对性的做法是引入 语言边界感知指标，例如：

• CSWER（Code-Switching WER）：在切换点附近对错误单独统计，突出边界处的表现。具体实现通常是在参考文本中标记所有语言切换点，然后只统计切换点前后k个词（通常k=1或k=2）范围内的错误，计算该局部区域的WER。这一指标可以精确量化系统在语言过渡区域的脆弱程度。
• Language Identification Accuracy（LID 准确率）：单独评估系统对每个词/片段语言归属的判断能力。这要求ASR系统不仅输出文本，还要为每个词或片段标注语言标签。LID准确率可以进一步细分为切换点LID准确率和非切换点LID准确率，前者通常比后者低10-20个百分点。
• Matrix / Embedded Language 分别统计：区分「主体语言」和「嵌入语言」的识别率，因为嵌入语言（通常是少数出现的那种）往往更难识别。这一概念源自Myers-Scotton的矩阵语言框架理论（Matrix Language Frame Model），该理论认为在语码转换中，一种语言提供句法框架（矩阵语言），另一种语言的成分被嵌入其中。在ASR评测中分别统计两者的错误率，可以揭示系统是否存在对某种语言的系统性偏见。

面向语义的评测方法

既然原帖作者关心的是「关键部分的失败」，那么面向下游任务或语义的评测就更有意义：

• 实体级评测：单独衡量人名、地名、专有名词等关键实体的识别准确率。可以使用NER（命名实体识别）工具在参考文本上提取实体，然后检查这些实体在ASR输出中是否被正确保留。实体级F1值往往比整体WER更能反映转录的实用价值，因为在会议记录、医疗记录等场景中，漏掉一个人名或药名的后果远大于漏掉一个冠词。
• 加权 WER：为不同重要性的词赋予不同权重，让关键词的错误得到更高惩罚。权重可以基于词的TF-IDF值（高TF-IDF的词通常更具信息量）、词性标签（名词和动词权重高于虚词）、或者由领域专家手动指定。加权WER的数学表达为：Weighted WER = Σ(w_i × error_i) / Σ(w_i)，其中w_i是第i个词的权重。
• 下游任务表现：如果转录用于翻译、摘要或语义检索，直接用这些任务的最终效果反推 ASR 质量。例如，可以衡量基于ASR输出的机器翻译BLEU分数与基于完美转录的BLEU分数之间的差距，这种端到端评测方式能最真实地反映ASR错误对用户体验的实际影响。

语码转换ASR该用什么测试集

评测指标之外，测试集的选择同样决定评测是否公平。使用纯单语数据集去测语码转换能力，本身就是不公平的。以下是社区和研究中常用的资源方向：

公开的语码转换语料

• SEAME：东南亚英语/普通话混合语料，是语码转换研究的经典基准。
• Miami Bangor（英语/西班牙语）：来自真实双语社群的对话录音。
• ASCEND、TALCS 等中英混合数据集。

SEAME（South East Asia Mandarin-English）语料库由新加坡南洋理工大学于2010年前后收集，包含约200小时的英语/普通话混合对话录音，涵盖访谈（较正式、切换频率较低）和日常对话（非正式、切换频率极高）两种场景。录音参与者为新加坡和马来西亚的双语大学生，他们在日常生活中自然地进行英语/普通话混合交流。SEAME之所以成为语码转换研究的标杆，在于其标注质量极高——每个词都带有语言标签（English、Mandarin或Mixed），切换点被精确标记到词级别，且录音来自真实双语社群而非人工构造的混合语句，保证了数据分布的自然性。基于SEAME的研究已催生了多种专门的语码转换ASR架构，包括语言感知的注意力机制（在注意力计算中引入语言嵌入向量）、双编码器结构（为每种语言维护独立的声学编码路径再融合）和语言标识辅助损失函数（multi-task learning框架中同时优化ASR和LID目标）等。该语料的研究也揭示了一个重要的量化发现：切换点附近的识别错误率通常是非切换区域的2-3倍，这从数据上证实了语言边界确实是ASR的系统性薄弱环节，而非个别模型的偶然缺陷。

Miami Bangor语料库则来自美国佛罗里达州迈阿密的西班牙语-英语双语社区，包含约35小时的自然对话录音，其语码转换模式反映了美国拉丁裔社区的真实语言使用习惯。ASCEND（A Spontaneous Chinese-English Dataset）则聚焦中国大陆和香港地区的中英混合口语，更贴近东亚地区的语码转换特征。

针对英法混合场景，公开高质量语料相对稀缺，这也是原帖作者遇到评测困难的现实原因之一。加拿大的魁北克地区虽然是英法双语交汇的典型环境，但相关的开源ASR语料发布有限，研究者往往需要自行录制和标注数据。

如何构建自己的语码转换测试集

在缺乏现成语料时，构建一个贴合自身场景的评测集往往更有价值：

1. 覆盖真实的切换密度：既要有句间切换，也要有句内切换。建议统计实际应用中的CMI（Code-Mixing Index）——即非矩阵语言词在总词数中的占比，确保测试集的CMI分布与真实场景匹配。CMI为0表示纯单语，CMI为50%表示两种语言均衡混合。
2. 标注语言标签：为每个词或片段标注语言归属，以便计算 LID 准确率。对于难以归类的词（如两种语言共享的国际化词汇、专有名词），建议设立「ambiguous」标签并在评测时单独处理。
3. 标记关键片段：把你真正在意的「关键部分」（如专业术语、人名）单独标出，用于加权评测。
4. 保留口音与噪声多样性：双语使用者的发音特征差异很大，测试集应尽量覆盖。例如英法双语者中，法语主导者说英语时可能带有明显的法语韵律特征（syllable-timed节奏），而英语主导者说法语时可能在浊辅音和鼻化元音上有系统性偏差。

当前多语言ASR模型的技术现状

当前处理语码转换最有前景的技术路线是大规模端到端多语言模型。这类模型通常采用Transformer架构，通过在海量多语言数据上的联合训练，使单一模型内部形成对多种语言的共享表示。

OpenAI的Whisper在68万小时多语言弱监督数据上训练，覆盖近100种语言，展现了一定的语码转换处理能力。Whisper采用编码器-解码器架构，在解码初始阶段通过特殊的语言token来指定目标语言，这赋予了它一定的多语言灵活性。但其设计初衷是逐段（通常是30秒的音频段）检测语言后按单语模式转录，对频繁句内切换的支持仍然有限——当一句话中出现三次以上语言切换时，Whisper的表现会显著退化，因为其语言token机制本质上假设每个音频段内的语言是一致的。在社区测试中，Whisper Large-v3对英法混合语音的WER通常比纯英语或纯法语场景高出15-25个百分点。

Meta的MMS（Massively Multilingual Speech）覆盖1100多种语言，是目前语言覆盖最广的语音模型，其核心贡献在于为大量低资源语言提供了基础的ASR能力。但MMS的架构设计（基于wav2vec 2.0/HuBERT的自监督预训练加CTC解码）侧重单语场景，每种语言使用独立的输出层适配器，这使得跨语言的实时切换在架构上就存在困难。Google的USM（Universal Speech Model）基于2B参数的Conformer编码器，在多语言和多方言上表现优异，尤其在YouTube多语言数据上的预训练使其对真实场景的适应性较强，但语码转换仍是其已知薄弱环节——Google在论文中也承认，对于高频切换的对话场景，USM的表现仍有明显提升空间。

学术界近年涌现的多种技术路线正在逐步推进这一难题的解决。混合CTC/Attention架构允许模型同时利用CTC的单调对齐特性和Attention机制的灵活性，在切换点处两种解码策略可以互补。语言嵌入条件化解码则是在解码器的每一步引入当前帧的语言嵌入向量作为额外条件，帮助模型动态切换内部的语言知识。多任务学习框架中，ASR主任务与LID辅助任务的联合训练已被证明能够提升切换点附近的识别准确率——辅助的LID损失迫使编码器学习更具语言区分性的表示。

特别值得关注的是利用大语言模型（LLM）进行ASR输出后校正的方案。这一思路的核心洞见是：即使声学模型在切换点犯错，一个对多语言文本有深刻理解的语言模型可以通过上下文推断出正确的词。具体实现方式包括：将ASR的N-best假设列表输入LLM进行重排序（rescoring）、将ASR输出作为prompt让LLM生成修正后的文本（generative error correction）、或者使用LLM对ASR输出进行受约束的编辑。在最近的实验中，使用GPT-4或开源多语言LLM（如BLOOM）进行后处理，在语码转换测试集上可以将WER相对降低10-20%，对于切换点附近的错误修正效果尤为显著。这种方法的优势在于不需要重新训练声学模型，可以作为即插即用的后处理模块。

给多语言ASR实践者的建议

回到原帖作者的困境，几点务实的建议：

不要只看单一指标。 同时报告 WER、CER、LID 准确率和实体级准确率，才能立体地反映系统在语码转换下的真实表现。建议建立一个评测仪表板（evaluation dashboard），将这些指标按语言对、切换密度和领域分维度展示，使系统的优势和短板一目了然。

让评测对齐你的目标。 如果你在意的是关键信息不出错，就采用加权或实体级评测，而不是被平滑的整体 WER 误导。在项目初期就明确定义「什么算关键错误」——是人名错误？数字错误？还是语义反转？然后围绕这个定义设计评测方案。

在真实分布上测试。 用尽可能接近实际使用场景（语言对、切换密度、领域术语）的数据评测，才能避免「实验室好看、实战翻车」。如果条件允许，定期从生产流量中采样新的测试样本，保持测试集与真实数据分布的同步演进，防止模型对固定测试集的过拟合。

关注错误分析而不仅是汇总数字。 在报告整体指标之外，进行系统性的错误分析——按语言方向分类（从A语言切换到B语言 vs. 从B到A）、按切换类型分类（句间 vs. 句内）、按词性分类（实词 vs. 虚词）。这种细粒度的分析往往能揭示模型改进的具体方向，比单纯追求WER降低更有工程价值。

语码转换之所以是 ASR 的试金石，正因为它同时考验声学建模、语言建模和语言识别三种能力。一个真正公平的测试，也应当从多个维度去衡量这三者，而不是用一个平滑的数字掩盖真正重要的失败。随着多语言社会的发展和全球化协作的深入，语码转换ASR不再是一个学术边缘课题，而是影响数亿多语言用户日常体验的核心技术挑战。

核心要点

• WER在语码转换场景下存在系统性缺陷：其等权设计、单语假设和对分词标准化的敏感性，使其无法真实反映混合语言转录的质量
• 语言切换点是ASR的系统性薄弱环节：声学层面的音素突变和语言模型层面的跨语言低概率共同导致切换点错误率是非切换区域的2-3倍
• 多维度评测是必要的：应同时使用CSWER、LID准确率、实体级F1和加权WER等指标，才能立体反映系统表现
• 测试集必须匹配真实分布：切换密度、语言对、口音多样性和领域术语都应与实际应用场景对齐
• 当前大模型仍有明显短板：Whisper、MMS、USM等在高频句内切换场景下表现退化，LLM后处理纠错是值得关注的补充方案
• 评测应服务于真实目标：明确定义「什么算关键错误」，然后围绕该定义设计指标和测试集，而非被单一WER数字误导