CTC
一种用于序列到序列学习的损失函数与解码方法,无需对齐标注即可训练端到端语音识别和其他序列标注模型
时间轴 (近 90 天)
设备端语音识别通常依赖经过量化和剪枝的轻量级模型,例如基于 CTC 或 RNN-T 架构的端到端模型。
纯CTC模型与自回归大模型在WER上往往存在差距,二者在工程上更多是互补而非替代关系。
CTC具备帧级独立输出、可并行计算的特点,天然适合流式识别和低延迟场景。
CTC引入空白符号,无需预先知道音素与音频帧对齐关系,解码时通过对齐路径合并、去重和去空白得到文本。
与Whisper采用的自回归解码器相比,CTC的计算量更可预期、延迟更低,是资源受限微控制器上能够落地的关键原因之一
CTC(联结时序分类)是一种解码策略,无需对输入帧与输出字符做显式对齐,推理时可逐帧输出而无需等待完整语句,适合低延迟流式场景
ASR场景中教师模型通常是基于CTC或注意力机制(Attention-based Encoder-Decoder)的端到端语音识别模型
研究者选取了两个独立训练的Conformer-Large识别器作为研究对象,分别采用CTC和RNN-T解码器
CTC由Alex Graves于2006年提出,假设输出标签在给定输入的条件下是条件独立的
RNN-T由Graves于2012年提出,在CTC基础上增加了预测网络来捕捉输出序列内部的依赖关系
还有 5 条时间轴事件
全部知识事实 (15)
设备端语音识别通常依赖经过量化和剪枝的轻量级模型,例如基于 CTC 或 RNN-T 架构的端到端模型。
50%待验证纯CTC模型与自回归大模型在WER上往往存在差距,二者在工程上更多是互补而非替代关系。
50%待验证CTC具备帧级独立输出、可并行计算的特点,天然适合流式识别和低延迟场景。
50%待验证CTC引入空白符号,无需预先知道音素与音频帧对齐关系,解码时通过对齐路径合并、去重和去空白得到文本。
50%待验证与Whisper采用的自回归解码器相比,CTC的计算量更可预期、延迟更低,是资源受限微控制器上能够落地的关键原因之一
50%待验证CTC(联结时序分类)是一种解码策略,无需对输入帧与输出字符做显式对齐,推理时可逐帧输出而无需等待完整语句,适合低延迟流式场景
50%待验证ASR场景中教师模型通常是基于CTC或注意力机制(Attention-based Encoder-Decoder)的端到端语音识别模型
50%待验证研究者选取了两个独立训练的Conformer-Large识别器作为研究对象,分别采用CTC和RNN-T解码器
50%待验证CTC由Alex Graves于2006年提出,假设输出标签在给定输入的条件下是条件独立的
50%待验证RNN-T由Graves于2012年提出,在CTC基础上增加了预测网络来捕捉输出序列内部的依赖关系
50%待验证CTC是对齐无关的判别模型,解码可以完全并行化,延迟极低;RNN-T引入自回归机制需要顺序解码,计算复杂度显著高于CTC
50%待验证CTC(Connectionist Temporal Classification)损失函数的引入使端到端文字识别成为可能
50%待验证CTC损失函数由Alex Graves于2006年提出,解决了输入序列与输出序列长度不对齐的问题
50%待验证端到端语音识别的三大主流架构是CTC、注意力机制(Attention-based)和RNN-Transducer
50%待验证Deep Speech由百度在2014年开创,首次证明单一神经网络可以直接从音频波形映射到文本
50%