MLM
一种自监督预训练目标，随机遮盖输入序列中的部分token，让模型基于上下文重建被遮盖部分，广泛应用于Transformer编码器的预训练。
时间轴 (近 90 天)
自监督学习（SSL）的主流方法可归为两类：生成式/重建式（如MLM、MAE）和对比式（如SimCLR、MoCo）。
文本的掩码语言建模（MLM）与图像的掩码自编码器（MAE）共享“掩码-预测”自监督学习范式。
MLM预测离散token，MAE重建连续像素，但两者共享的核心假设是：完成重建任务迫使模型学习到数据的语义表示。
MLM并未显式鼓励模型学习患者的高层状态（如整体疾病进展或风险分层），而这些是临床下游任务最需要的抽象。
对实践者而言，短期内MLM仍是纵向EHR预训练的可靠基线。
在该研究的多个下游评估任务上，JEPA变体的性能均未能超越标准MLM。
重建单个事件可能使MLM过度强调噪声大或信息量弱的观察，并使其容量浪费在低价值信号上。
BERT的MLM是一步到位的预测且主要用于表征学习，而离散扩散模型将mask比例作为从0%到100%的连续变量构建完整马尔可夫链，通过多步迭代实现渐进式生成
全部知识事实 (8)
MLM预测离散token，MAE重建连续像素，但两者共享的核心假设是：完成重建任务迫使模型学习到数据的语义表示。
50%待验证自监督学习（SSL）的主流方法可归为两类：生成式/重建式（如MLM、MAE）和对比式（如SimCLR、MoCo）。
50%待验证文本的掩码语言建模（MLM）与图像的掩码自编码器（MAE）共享“掩码-预测”自监督学习范式。
50%待验证在该研究的多个下游评估任务上，JEPA变体的性能均未能超越标准MLM。
50%待验证重建单个事件可能使MLM过度强调噪声大或信息量弱的观察，并使其容量浪费在低价值信号上。
50%待验证MLM并未显式鼓励模型学习患者的高层状态（如整体疾病进展或风险分层），而这些是临床下游任务最需要的抽象。
50%待验证BERT的MLM是一步到位的预测且主要用于表征学习，而离散扩散模型将mask比例作为从0%到100%的连续变量构建完整马尔可夫链，通过多步迭代实现渐进式生成
50%待验证对实践者而言，短期内MLM仍是纵向EHR预训练的可靠基线。
50%