[控场AI]
概念Masked Language Modeling / MLM

掩码语言建模

预训练语言模型中的一种训练目标,随机遮盖输入文本中的部分 token,让模型根据上下文预测被遮盖的内容,BERT 等模型的核心训练方法

时间轴 (近 90 天)

10月22日

掩码语言建模(MLM)是Transformer编码器处理纵向电子病历的事实标准预训练目标。

待验证50%
10月13日

当前AI破译古文字的核心技术路径是序列补全与掩码语言建模,源自自然语言处理中的BERT等预训练模型。

待验证50%
9月28日

BERT等预训练语言模型通过掩码语言建模任务学会捕捉词语在上下文中的细粒度含义

待验证50%

全部知识事实 (3)

来源文章