wav2vec 2.0
Meta(Facebook AI Research)提出的自监督语音表征学习模型,通过对比学习在未标注音频数据上进行预训练,显著降低语音识别对标注数据的依赖
时间轴 (近 90 天)
双任务向量合并是一种参数高效的方法,通过注入情感和ASR任务的知识来适配冻结的wav2vec 2.0主干,用于低资源场景下的阿尔茨海默病检测。
作者分别用情感数据集和ASR数据集微调wav2vec 2.0,计算每个Transformer层的权重增量,得到两个任务向量。
在AD训练阶段,冻结wav2vec 2.0主干,将两个任务向量按逐层可学习的合并系数注入每个Transformer层,整个训练过程仅优化这些合并系数和一个线性分类头,可训练参数不到全量微调的0.1%。
wav2vec 2.0是Meta(原Facebook)于2020年提出的自监督语音表征模型,由多层卷积特征编码器与12层(base版)或24层(large版)Transformer组成。
wav2vec 2.0 base版每个Transformer层的输出维度为768。
Meta的MMS模型基于wav2vec 2.0架构,通过宗教文本(主要是圣经的多语言译本)作为弱监督数据来源实现语音识别覆盖
全部知识事实 (6)
双任务向量合并是一种参数高效的方法,通过注入情感和ASR任务的知识来适配冻结的wav2vec 2.0主干,用于低资源场景下的阿尔茨海默病检测。
50%待验证作者分别用情感数据集和ASR数据集微调wav2vec 2.0,计算每个Transformer层的权重增量,得到两个任务向量。
50%待验证在AD训练阶段,冻结wav2vec 2.0主干,将两个任务向量按逐层可学习的合并系数注入每个Transformer层,整个训练过程仅优化这些合并系数和一个线性分类头,可训练参数不到全量微调的0.1%。
50%待验证wav2vec 2.0是Meta(原Facebook)于2020年提出的自监督语音表征模型,由多层卷积特征编码器与12层(base版)或24层(large版)Transformer组成。
50%待验证wav2vec 2.0 base版每个Transformer层的输出维度为768。
50%待验证Meta的MMS模型基于wav2vec 2.0架构,通过宗教文本(主要是圣经的多语言译本)作为弱监督数据来源实现语音识别覆盖
50%