BERT
BERT（Bidirectional Encoder Representations from Transformers）是由Google提出的预训练语言表示模型，采用双向Transformer编码器架构。其核心预训练任务包括掩码语言模型（MLM）和下一句预测（NSP），通过大规模无标注文本进行自监督学习，从而获得深层双向语义表示。经过微调后，BERT可广泛应用于文本分类、命名实体识别、问答等多种自然语言处理下游任务。
核心事实
时间轴 (近 90 天)
掩码扩散在前向过程中以一定速率将任意token替换为[MASK]标记，最终状态为全掩码序列，其反向过程与BERT式掩码语言模型训练目标高度契合。
实现否定检测通常需要句法分析或基于预训练模型（如BERT）的语义分类器，而非简单的字符串匹配。
Legora 最初的想法诞生于 Google 的 BERT 模型开放访问时期，但早期用例难度太高，直到 GPT-3.5 出现才跑通。
Segment embeddings是BERT中用于区分句子对的特殊向量，与token embeddings和position embeddings相加后输入编码器。
在BERT微调时，如果任务不涉及句子对，segment embeddings通常全部置零。
BERT基本上是在Transformer编码器基础上做了几处小修改：把句子对打包成一个输入序列，加入segment embeddings区分两个句子，并在顶部加两个小输出头分别用于掩码词预测和下一句预测。
Jev 的 Encoder 实现路线使用 BERT 类编码器 backbone，采用问题在前、上下文在后的 token 顺序，每个选项前插入 mask token，取其隐状态与前向点积后 softmax 得到选项概率；零训练时结果不准确，一个本应是“是”的问题只给出约30%概率。
决策模型通常基于 BERT 类编码器或更小的专用网络，只做一次前向计算，因此延迟和推理成本远低于同等任务上的 LLM 调用。
Jev式System One模型是一类不依赖自回归生成、而是直接对每个候选答案计算条件概率并取最大值的判别式架构，通常基于编码器结构（如BERT式）。
扩散语言模型（dLLM）的骨架与 BERT 类掩码语言模型高度相似：训练时随机遮盖一部分 token，让模型根据剩余上下文还原。
还有 40 条时间轴事件
全部知识事实 (20)
GPT和BERT等大语言模型基于自监督学习范式
90%已验证BERT由Google于2018年推出，是预训练语言模型的开山之作，首次采用双向编码器架构，在11项NLP基准测试中刷新纪录
80%已验证当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构
80%已验证GLM采用了独特的自回归填空预训练范式，与GPT的纯自回归和BERT的纯掩码语言模型都有所不同
80%已验证2017年Google提出的Transformer架构奠定了大语言模型的基础
80%已验证大语言模型的预训练阶段本质上属于自监督学习，是一种特殊的非监督学习，模型通过预测下一个词来从海量文本中自动学习语言规律
80%已验证BERT由Google于2018年提出，是基于Transformer架构的预训练语言模型
80%已验证BERT（Bidirectional Encoder Representations from Transformers）是 Google 于2018年发布的预训练语言模型
75%已验证GLM采用自回归填空训练目标，通过对文本片段随机遮蔽并要求模型自回归还原
75%已验证现代LLM（如GPT系列、Claude、Llama）均基于Transformer架构，其解码过程本质上是一个马尔可夫链
75%已验证DistilBERT通过蒸馏将BERT参数量减少40%，推理速度提升60%，性能仅损失约3%
75%已验证GPT系列和Claude系列均采用Byte-Pair Encoding（BPE）类似的分词机制
75%已验证BERT 采用编码器架构，GPT 系列采用解码器架构，T5 和 BART 采用编码器-解码器架构
75%已验证BERT、GPT系列、LLaMA、Claude均以Transformer为基础构建
70%已验证Transformer的核心创新是自注意力机制，GPT、Claude、Gemini等主流大模型均基于Transformer构建
70%已验证BERT由Google于2018年提出，其双向注意力机制使其在文本分类、语义理解等任务上表现出色
70%已验证ModernBERT是2024年底发布的BERT架构改进版，引入了旋转位置编码（RoPE）和交替局部/全局注意力等现代化设计
65%已验证原始Transformer由编码器（Encoder）和解码器（Decoder）构成，BERT类模型只用编码器擅长理解和分类，GPT类模型只用解码器专注文本生成
65%已验证Transformer架构分化为BERT类（Encoder-only，适合理解任务）和GPT类（Decoder-only，适合生成任务）两大路线
65%已验证BERT于2018年由Google提出，是双向编码器；GPT于2018年由OpenAI提出，是自回归解码器
65%