模型Multilingual BERT
mBERT
谷歌推出的多语言BERT模型，在104种语言的维基百科语料上联合预训练，支持跨语言迁移学习任务
时间轴 (近 90 天)
10月20日
一项研究基于包含13.1万句子的语料库，覆盖11种印度文字，对比了TinyLlama-1.1B、mBERT和MuRIL等模型的分词器表现。
待验证50%
10月20日
mBERT在奥里亚语上获得1.10 tokens/word的fertility，但同时将87.9%的文本丢弃为UNK。
待验证50%
10月8日
在六组语言配对中，LaBSE的排序结果与mBERT的排序结果在其中4组上达成一致
待验证50%
10月5日
相比多语言BERT（mBERT），AraBERT对阿拉伯语的形态切分和语义表征有显著优化，尤其在形态还原和词根分析方面
待验证50%
9月16日
现有多语言模型如mBERT、XLM-R在低资源语言上的表现远逊于英语
待验证50%
9月15日
mBERT和PaLM 2是谷歌的多语言预训练模型
待验证50%
全部知识事实 (7)
待验证
mBERT在奥里亚语上获得1.10 tokens/word的fertility，但同时将87.9%的文本丢弃为UNK。
50%待验证一项研究基于包含13.1万句子的语料库，覆盖11种印度文字，对比了TinyLlama-1.1B、mBERT和MuRIL等模型的分词器表现。
50%待验证在六组语言配对中，LaBSE的排序结果与mBERT的排序结果在其中4组上达成一致
50%待验证相比多语言BERT（mBERT），AraBERT对阿拉伯语的形态切分和语义表征有显著优化，尤其在形态还原和词根分析方面
50%待验证现有多语言模型如mBERT、XLM-R在低资源语言上的表现远逊于英语
50%待验证mBERT和PaLM 2是谷歌的多语言预训练模型
50%待验证现代多语言模型如mT5、BLOOM和Llama系列在数百种语言的文本上联合训练，通过共享词汇表和跨语言注意力机制构建跨语言语义地图
50%