已验证75% 置信事实精确时间
BERT（Bidirectional Encoder Representations from Transformers）是 Google 于2018年发布的预训练语言模型
3
来源数
75%
置信度
长期有效
时效性
2026/10/5
首次发现
来源
涉及实体
相关事实
待验证MuRIL是Google基于BERT架构专门针对印度语言预训练的编码器模型，其词汇表纳入了大量印度文字的子词单元，并使用transliteration和translation-based训练目标增强跨文字对齐。71% 相似待验证2018年BERT的出现改变了简历比对领域，基于Transformer架构的预训练模型能将文本编码为高维语义向量识别近义表达70% 相似待验证Transformer架构由Google于2017年提出，Encoder负责将输入文本编码为高维向量表示，Decoder基于编码表示逐token生成输出文本69% 相似待验证modern BERT属于仅编码器架构，预训练使用掩码语言模型目标，使用RoPE替代绝对位置编码等工程改良66% 相似待验证多头分类器设计在自然语言处理领域有广泛应用，典型案例包括 BERT 模型的各类微调变体65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/976257API
curl https://kongchang.com/api/v1/knowledge/claims/976257MCP
get_claim(id=976257)