[控场AI]
概念Hindi

印地语

印度主要语言之一,与孟加拉语同属印欧语系,常作为低资源语言跨语言迁移的相关语言。

核心事实

时间轴 (近 90 天)

11月2日

SHAKTI是一个大规模印地语AI文本检测基准,覆盖四种文体、八个LLM系列、多种提示策略以及对抗性变换。

待验证50%
11月1日

同一句印地语在GPT-4的分词器下需要21个token,而在GPT-4o(o200k_base)下只需要5个token。

待验证50%
10月27日

从印地语迁移到孟加拉语指代消解,在不同模型之间没有带来一致收益。

待验证50%
10月19日

在Qwen3上,罗马化(ITRANS转写)把印地语token开销从4.44倍降到2.06倍。

待验证50%
10月19日

使用Qwen3 tokenizer对FLORES devtest句子实测,印地语每句消耗的token是英语的4.44倍。

待验证50%
10月19日

同一个印地语句子使用不同分词器,token开销倍数分别为:Qwen3/Qwen2.5 4.44倍,Sarvam-M 1.79倍,Gemma-3 1.31倍。

待验证50%
10月19日

许多FLORES句子并非Unicode NFC规范化形式:孟加拉语1,012句中有609句、旁遮普语573句、印地语93句;不先做规范化会导致token计数漂移。

待验证50%
10月19日

在Gemma-3上,罗马化反而使印地语token开销从1.31倍恶化到1.85倍。

待验证50%
10月16日

BLEU对词形变化敏感,而印地语、乌尔都语和信德语都存在丰富的形态屈折,同一语义可有多种词形实现。

待验证50%
10月15日

在印地语或西班牙语内部,一个翻译项的得分与其自身的改写得分相关系数高达0.84和0.82,远高于它与英语原项的跨语言相关性。

待验证50%

还有 7 条时间轴事件

全部知识事实 (18)

已验证

AI文本检测工具对非英语文本的检测能力更弱,且存在将非母语者的英文写作误判为AI生成的公平性问题

65%
待验证

SHAKTI是一个大规模印地语AI文本检测基准,覆盖四种文体、八个LLM系列、多种提示策略以及对抗性变换。

50%
待验证

同一句印地语在GPT-4的分词器下需要21个token,而在GPT-4o(o200k_base)下只需要5个token。

50%
待验证

从印地语迁移到孟加拉语指代消解,在不同模型之间没有带来一致收益。

50%
待验证

许多FLORES句子并非Unicode NFC规范化形式:孟加拉语1,012句中有609句、旁遮普语573句、印地语93句;不先做规范化会导致token计数漂移。

50%
待验证

使用Qwen3 tokenizer对FLORES devtest句子实测,印地语每句消耗的token是英语的4.44倍。

50%
待验证

同一个印地语句子使用不同分词器,token开销倍数分别为:Qwen3/Qwen2.5 4.44倍,Sarvam-M 1.79倍,Gemma-3 1.31倍。

50%
待验证

在Qwen3上,罗马化(ITRANS转写)把印地语token开销从4.44倍降到2.06倍。

50%
待验证

在Gemma-3上,罗马化反而使印地语token开销从1.31倍恶化到1.85倍。

50%
待验证

BLEU对词形变化敏感,而印地语、乌尔都语和信德语都存在丰富的形态屈折,同一语义可有多种词形实现。

50%
待验证

对于印地语、韩语和斯瓦希里语,跨语言带来的分数下降明显超过英语改写产生的波动。

50%
待验证

印地语、韩语和斯瓦希里语的跨语言分数下降大部分来自StereoSet数据集中的特定测试项,而非全局性的公平性改善。

50%
待验证

在印地语或西班牙语内部,一个翻译项的得分与其自身的改写得分相关系数高达0.84和0.82,远高于它与英语原项的跨语言相关性。

50%
待验证

印地语属于印欧语系,保留精细的父系/母系亲属区分词汇,如父亲兄长'taau'与母亲兄长'maama'不同

50%
待验证

印地语母语使用者估计超过5亿

50%
待验证

在印地语环境实现同等质量的LLM表现需要大量本地语言语料的训练与微调

50%
待验证

印地语存在多种方言与口音差异,对语音识别模型构成挑战

50%
待验证

Alexa+在印度首次加入对印地语(Hindi)的支持

50%

来源文章