印地语
印度主要语言之一,与孟加拉语同属印欧语系,常作为低资源语言跨语言迁移的相关语言。
核心事实
时间轴 (近 90 天)
SHAKTI是一个大规模印地语AI文本检测基准,覆盖四种文体、八个LLM系列、多种提示策略以及对抗性变换。
同一句印地语在GPT-4的分词器下需要21个token,而在GPT-4o(o200k_base)下只需要5个token。
从印地语迁移到孟加拉语指代消解,在不同模型之间没有带来一致收益。
在Qwen3上,罗马化(ITRANS转写)把印地语token开销从4.44倍降到2.06倍。
使用Qwen3 tokenizer对FLORES devtest句子实测,印地语每句消耗的token是英语的4.44倍。
同一个印地语句子使用不同分词器,token开销倍数分别为:Qwen3/Qwen2.5 4.44倍,Sarvam-M 1.79倍,Gemma-3 1.31倍。
许多FLORES句子并非Unicode NFC规范化形式:孟加拉语1,012句中有609句、旁遮普语573句、印地语93句;不先做规范化会导致token计数漂移。
在Gemma-3上,罗马化反而使印地语token开销从1.31倍恶化到1.85倍。
BLEU对词形变化敏感,而印地语、乌尔都语和信德语都存在丰富的形态屈折,同一语义可有多种词形实现。
在印地语或西班牙语内部,一个翻译项的得分与其自身的改写得分相关系数高达0.84和0.82,远高于它与英语原项的跨语言相关性。
还有 7 条时间轴事件
全部知识事实 (18)
AI文本检测工具对非英语文本的检测能力更弱,且存在将非母语者的英文写作误判为AI生成的公平性问题
65%待验证SHAKTI是一个大规模印地语AI文本检测基准,覆盖四种文体、八个LLM系列、多种提示策略以及对抗性变换。
50%待验证同一句印地语在GPT-4的分词器下需要21个token,而在GPT-4o(o200k_base)下只需要5个token。
50%待验证从印地语迁移到孟加拉语指代消解,在不同模型之间没有带来一致收益。
50%待验证许多FLORES句子并非Unicode NFC规范化形式:孟加拉语1,012句中有609句、旁遮普语573句、印地语93句;不先做规范化会导致token计数漂移。
50%待验证使用Qwen3 tokenizer对FLORES devtest句子实测,印地语每句消耗的token是英语的4.44倍。
50%待验证同一个印地语句子使用不同分词器,token开销倍数分别为:Qwen3/Qwen2.5 4.44倍,Sarvam-M 1.79倍,Gemma-3 1.31倍。
50%待验证在Qwen3上,罗马化(ITRANS转写)把印地语token开销从4.44倍降到2.06倍。
50%待验证在Gemma-3上,罗马化反而使印地语token开销从1.31倍恶化到1.85倍。
50%待验证BLEU对词形变化敏感,而印地语、乌尔都语和信德语都存在丰富的形态屈折,同一语义可有多种词形实现。
50%待验证对于印地语、韩语和斯瓦希里语,跨语言带来的分数下降明显超过英语改写产生的波动。
50%待验证印地语、韩语和斯瓦希里语的跨语言分数下降大部分来自StereoSet数据集中的特定测试项,而非全局性的公平性改善。
50%待验证在印地语或西班牙语内部,一个翻译项的得分与其自身的改写得分相关系数高达0.84和0.82,远高于它与英语原项的跨语言相关性。
50%待验证印地语属于印欧语系,保留精细的父系/母系亲属区分词汇,如父亲兄长'taau'与母亲兄长'maama'不同
50%待验证印地语母语使用者估计超过5亿
50%待验证在印地语环境实现同等质量的LLM表现需要大量本地语言语料的训练与微调
50%待验证印地语存在多种方言与口音差异,对语音识别模型构成挑战
50%待验证Alexa+在印度首次加入对印地语(Hindi)的支持
50%