[控场AI]
模型wav2vec2

wav2vec 2.0

Meta(Facebook AI Research)提出的自监督语音表征学习模型,通过对比学习在未标注音频数据上进行预训练,显著降低语音识别对标注数据的依赖

时间轴 (近 90 天)

10月20日

双任务向量合并是一种参数高效的方法,通过注入情感和ASR任务的知识来适配冻结的wav2vec 2.0主干,用于低资源场景下的阿尔茨海默病检测。

待验证50%
10月20日

作者分别用情感数据集和ASR数据集微调wav2vec 2.0,计算每个Transformer层的权重增量,得到两个任务向量。

待验证50%
10月20日

在AD训练阶段,冻结wav2vec 2.0主干,将两个任务向量按逐层可学习的合并系数注入每个Transformer层,整个训练过程仅优化这些合并系数和一个线性分类头,可训练参数不到全量微调的0.1%。

待验证50%
10月20日

wav2vec 2.0是Meta(原Facebook)于2020年提出的自监督语音表征模型,由多层卷积特征编码器与12层(base版)或24层(large版)Transformer组成。

待验证50%
10月20日

wav2vec 2.0 base版每个Transformer层的输出维度为768。

待验证50%
9月12日

Meta的MMS模型基于wav2vec 2.0架构,通过宗教文本(主要是圣经的多语言译本)作为弱监督数据来源实现语音识别覆盖

待验证50%

全部知识事实 (6)

来源文章