自动关键词抽取：从统计方法到LLM与语音端到端

文本和视听信息的爆炸式增长，让自动关键词抽取（Keyphrase Extraction, KE）从一项辅助任务变成了信息检索与知识组织的核心环节。近期一篇综述系统梳理了文本与语音两种模态下的KE理论方法与实用方案，试图将长期割裂的研究脉络整合进一个统一的分析框架。这篇文章的价值不在于提出新算法，而在于勾勒出领域从统计方法向大语言模型（LLM）和端到端语音处理演进的清晰路线图。

关键词抽取的基本流程与语言差异

综述首先拆解了KE的典型阶段：候选词生成、特征构建、排序或分类、以及最终的关键词标注。这一流程在文本模态中相对成熟，但迁移到语音时面临结构性挑战。书面语的关键词往往以名词短语为主，边界清晰；口语中的关键词则可能被填充词、重复和修正打断，且韵律信息（重音、停顿）承载了书面标点无法替代的边界线索。作者特别强调了术语上的细微差别——keyphrase、keyword、term在文献中常被混用，但所指的粒度与语言学属性并不相同，这种模糊性直接影响评估的可比性。

四类方法的技术谱系

综述将自动KE方法归为统计、混合、机器学习和结构化四类。统计方法依赖TF-IDF、共现频率等信号，无需训练数据，在低资源场景下仍是强基线。机器学习方法引入标注语料上的分类或序列标注模型，提升了领域适应性。混合方法试图结合统计候选生成与学习式排序。结构化方法则利用文档内的章节、引用网络或句法树等结构信息。这一分类的价值在于揭示了一个趋势：方法之间的界限正在模糊，现代系统往往同时调用多类信号。

TF-IDF（词频-逆文档频率）是统计方法中最基础的加权方案：词频衡量某词在单篇文档中的出现次数，逆文档频率则惩罚在整个语料库中普遍出现的高频词，二者相乘得到该词对文档的代表性得分。它的核心假设是"在少数文档中反复出现的词更能代表该文档的主题"。共现频率类方法则基于另一条思路：在同一滑动窗口或同一句子中频繁共同出现的词，语义上往往相关，因此可以用共现图上的中心性指标（如度中心性、PageRank）来筛选候选关键词。这类方法的优势是完全无监督、计算成本低、跨领域迁移无需重新训练，因此在标注数据匮乏的领域和语言中仍然是难以绕开的强基线；其局限在于无法捕捉词序和深层语义，对同义表达和多词短语的处理较为粗糙。

LLM带来的生成式转向

综述用相当篇幅讨论了基于LLM的关键词生成。与传统抽取式方法不同，生成式范式不要求关键词严格出现在原文中，而是由模型产出语义等价但表述更规范的短语。这缓解了抽取式方法对原文表述的过度依赖，但也引入了新问题：生成结果可能偏离原文语义，且评估难度显著上升——传统基于匹配的指标难以衡量生成关键词的语义正确性。作者指出，生成式KE的评估需要更细致的人工判断或语义相似度度量，这构成了当前方法论上的一个开放缺口。

抽取式与生成式的根本差异在于输出空间：抽取式方法把关键词选择建模为对原文词序列的标记或排序问题，输出必然是原文的子串，因此天然保证关键词"在文中出现"，可解释性强；生成式方法则把任务表述为条件文本生成，模型自回归地逐词产出关键词，输出不受原文词汇约束。这一转变的代价是丧失了对原文的忠实性保证——模型可能生成语义相关但原文并未表达的短语，甚至产生事实性偏移。评估层面，抽取式可用精确匹配、召回率和F1直接对比；生成式则通常借助BERTScore、语义嵌入余弦相似度等软匹配指标，或引入LLM作为评判者，但这些指标与人类判断的一致性仍是活跃的研究问题。

语料标注的瓶颈

自动标注是综述关注的另一重点。KE系统的性能高度依赖标注质量，但关键词标注本身具有主观性：不同标注者对同一文档的关键词选择可能差异明显。综述梳理了自动语料标注的方法与挑战，包括利用现有元数据（如作者关键词、标题）进行弱监督，以及跨语言迁移标注。数据稀缺问题在低资源语言中尤为突出，这也是作者在结论中反复强调的未来方向之一。

语音关键词抽取的两条路线

针对口语场景，综述对比了基于转录文本和端到端声学两条路线。转录路线复用文本KE的方法，但受限于语音识别错误传播，专有名词和领域术语的识别错误会直接损害关键词质量。端到端声学路线直接从音频信号学习关键词表示，理论上能利用韵律和发音信息，但目前受制于语音-关键词对齐数据的稀缺。作者认为两者并非替代关系，多模态融合才是务实方向，而有效的多模态融合恰恰是尚待解决的核心难题。

端到端语音处理指绕过"先识别、后处理"的级联结构，由单一神经网络直接从原始音频波形或声学特征映射到目标任务输出。在关键词抽取中，这意味着模型直接从音频学习哪些语音片段对应关键词，无需中间转录文本。其理论吸引力在于：级联系统中语音识别错误会不可逆地传导至下游，而端到端训练可以让声学表示针对关键词任务进行优化，并保留重音、语调、停顿等韵律线索。但端到端方案对标注数据的要求更苛刻——需要音频与关键词的时间对齐标注，而这类数据远比"音频+转录文本"稀缺，这也是该路线目前难以大规模落地的主要瓶颈。

走向集成化与上下文感知

综述的结论指向一个集成化、上下文感知的范式：文本与语音的KE不应各自为政，生成式与抽取式方法也需在统一评估框架下比较。未来进展取决于三个关键挑战的解决——低资源语言的数据稀缺、多模态信息的有效融合，以及生成式KE系统的细致评估。对实践者而言，这意味着选型时不宜孤立看待某一类方法，而应关注系统能否在候选生成、排序和评估各环节灵活组合不同信号。