概念Stopword Removal / 去停用词
停用词移除
文本预处理中的传统操作,将「the」「of」「and」等高频功能词从文本中剔除,源自信息检索领域节省存储与计算资源的实践,被广泛沿用于NLP流程
时间轴 (近 90 天)
9月18日
一篇新发布的arXiv论文认为,在可解释的法律文本分析中,保留停用词是正确选择,删除停用词可能扭曲研究本应捕捉的法理与意识形态信号
待验证50%
9月18日
停用词移除的做法源自几十年前的信息检索系统,当时删除高频功能词能节省存储和计算成本、简化索引
待验证50%
9月18日
实验发现通用停用词表在每一次测试中都低于'不删除'的基线,反而拖累分类表现
待验证50%