概念Masked Language Modeling / MLM
掩码语言建模
预训练语言模型中的一种训练目标,随机遮盖输入文本中的部分 token,让模型根据上下文预测被遮盖的内容,BERT 等模型的核心训练方法
时间轴 (近 90 天)
10月22日
掩码语言建模(MLM)是Transformer编码器处理纵向电子病历的事实标准预训练目标。
待验证50%
10月13日
当前AI破译古文字的核心技术路径是序列补全与掩码语言建模,源自自然语言处理中的BERT等预训练模型。
待验证50%
9月28日
BERT等预训练语言模型通过掩码语言建模任务学会捕捉词语在上下文中的细粒度含义
待验证50%