MAE

The choice of pretraining (ImageNet-1K vs ImageNet-21K, supervised vs self-supervised like MAE/DINO) significantly impacts downstream performance, potentially causing several percentage points of difference

自监督学习（SSL）的主流方法可归为两类：生成式/重建式（如MLM、MAE）和对比式（如SimCLR、MoCo）。

文本的掩码语言建模（MLM）与图像的掩码自编码器（MAE）共享“掩码-预测”自监督学习范式。

MAE（Masked Autoencoder）由He等人于2021年提出，其做法是随机遮蔽图像patch的高比例（如75%），仅将可见patch送入编码器，再由轻量解码器重建被遮蔽的像素。

MLM预测离散token，MAE重建连续像素，但两者共享的核心假设是：完成重建任务迫使模型学习到数据的语义表示。

评分问题对应回归任务（regression）或有序分类（ordinal classification），其评估指标侧重 MAE、RMSE 或 Spearman 相关系数，而非准确率。

平均绝对误差（MAE）是预测任务中常用的精度指标，计算为预测值与真实值绝对误差的平均值，单位为毫秒（ms）。

在严格实时回测中，RT-LSTM在所有15个预测视野和15个参考时隙索引上的平均MAE为1.405 ms。

MAE 的局限在于解码器主要依赖全局自注意力，对局部纹理与边缘等细粒度结构先验利用不足。

WildMAE 未改动 MAE 的编码器结构，而是将改进集中在解码器端。

掩码自编码器（MAE）是 He 等人于 2022 年提出的自监督预训练框架。

MAE 将图像划分为规则图像块，随机遮挡其中大部分（常见 75%），仅将可见块送入 ViT 编码器。

在 Snapshot Serengeti 数据集的 4,744 张测试图像上，以 75% 掩码比例重建，WildMAE 的 PSNR 为 27.90 dB，原始 MAE 为 24.33 dB。

WildMAE 提出了一种解码器端的改进方案，在 75% 掩码比例下取得了显著的重建指标提升。

MAEM为每个专家配备一个掩码自编码器（MAE），测试节点被分配给重构误差最低的专家，这种去中心化路由机制无需任务ID，也不需要共享参数。

MAE推理时需对每个专家前向一次，专家数量增多会线性增加推理开销。

MAE是预测任务中常用的评价指标，计算预测值与真实值绝对差的平均值，单位与电价一致，数值越低越好。

MAE（Masked Autoencoders）用高掩码率替代瓶颈约束，迫使模型学习语义表示，延续了 Context Encoders 的设计思路

该即插即用框架不改变SSL主干网络的结构和损失函数，仅替换采样模块，可集成到MAE、SimCLR、DINO等现有SSL流程

当分位点 τ=0.5 时，分位数损失退化为平均绝对误差（MAE）