[控场AI]
概念Bengali

孟加拉语

拥有超过2.5亿使用者的低资源语言,标注资源有限,常作为低资源NLP研究的代表性语言。

时间轴 (近 90 天)

10月27日

从英语这类远距离语言迁移到孟加拉语指代消解会降低性能。

待验证50%
10月27日

孟加拉语拥有超过2.5亿使用者。

待验证50%
10月27日

从印地语迁移到孟加拉语指代消解,在不同模型之间没有带来一致收益。

待验证50%
10月19日

许多FLORES句子并非Unicode NFC规范化形式:孟加拉语1,012句中有609句、旁遮普语573句、印地语93句;不先做规范化会导致token计数漂移。

待验证50%
9月23日

训练后的模型每token负对数似然(NLL)为0.93,而随机初始化的同结构孪生模型为12.60

待验证50%
9月23日

最终训练出的模型约有4亿(0.4B)参数,以孟加拉语为主要目标语言,使用约20亿tokens的语料

待验证50%
9月23日

朴素字节级分词下孟加拉语被压缩到平均每个token约1.4个字符,而英语约3.9个字符,导致语料库语言平衡被颠倒

待验证50%
8月22日

孟加拉语是世界第七大母语人口语言,约有2.3亿使用者,属于印欧语系印度-伊朗语族

待验证50%
8月22日

孟加拉语存在标准书面语(Sadhu Bhasha)与口语化书面语(Cholito Bhasha)的显著差异

待验证50%

全部知识事实 (9)

来源文章