孟加拉语
拥有超过2.5亿使用者的低资源语言,标注资源有限,常作为低资源NLP研究的代表性语言。
时间轴 (近 90 天)
从英语这类远距离语言迁移到孟加拉语指代消解会降低性能。
孟加拉语拥有超过2.5亿使用者。
从印地语迁移到孟加拉语指代消解,在不同模型之间没有带来一致收益。
许多FLORES句子并非Unicode NFC规范化形式:孟加拉语1,012句中有609句、旁遮普语573句、印地语93句;不先做规范化会导致token计数漂移。
训练后的模型每token负对数似然(NLL)为0.93,而随机初始化的同结构孪生模型为12.60
最终训练出的模型约有4亿(0.4B)参数,以孟加拉语为主要目标语言,使用约20亿tokens的语料
朴素字节级分词下孟加拉语被压缩到平均每个token约1.4个字符,而英语约3.9个字符,导致语料库语言平衡被颠倒
孟加拉语是世界第七大母语人口语言,约有2.3亿使用者,属于印欧语系印度-伊朗语族
孟加拉语存在标准书面语(Sadhu Bhasha)与口语化书面语(Cholito Bhasha)的显著差异
全部知识事实 (9)
从英语这类远距离语言迁移到孟加拉语指代消解会降低性能。
50%待验证孟加拉语拥有超过2.5亿使用者。
50%待验证从印地语迁移到孟加拉语指代消解,在不同模型之间没有带来一致收益。
50%待验证许多FLORES句子并非Unicode NFC规范化形式:孟加拉语1,012句中有609句、旁遮普语573句、印地语93句;不先做规范化会导致token计数漂移。
50%待验证训练后的模型每token负对数似然(NLL)为0.93,而随机初始化的同结构孪生模型为12.60
50%待验证最终训练出的模型约有4亿(0.4B)参数,以孟加拉语为主要目标语言,使用约20亿tokens的语料
50%待验证朴素字节级分词下孟加拉语被压缩到平均每个token约1.4个字符,而英语约3.9个字符,导致语料库语言平衡被颠倒
50%待验证孟加拉语是世界第七大母语人口语言,约有2.3亿使用者,属于印欧语系印度-伊朗语族
50%待验证孟加拉语存在标准书面语(Sadhu Bhasha)与口语化书面语(Cholito Bhasha)的显著差异
50%