微调数据预处理如何影响LLM推荐：效用与公平性权衡

在基于大语言模型（LLM）的推荐系统中，生成式方法正逐渐成为主流。模型直接从用户历史和物品信息的文本表示中生成推荐列表，但这一范式也带来了输出有效性、提示一致性以及对人口统计学描述符敏感性的新挑战。一篇题为《Preprocessing Choices in Fine-Tuning Data Matter: Utility and Demographic Sensitivity in LLM-Based Recommendation》的研究，系统考察了微调数据预处理选择如何同时影响推荐效用与公平性相关行为。

LLM推荐微调数据预处理研究概览

研究背景与核心问题

传统推荐系统通常基于协同过滤或双塔模型，而LLM的引入让推荐变成了一个文本生成任务：将用户历史与物品信息转化为提示词，由模型直接生成物品列表。这种生成式设定虽然灵活，却需要额外的约束机制来保证输出不超出目录范围（即不推荐不存在的物品），同时还要面对提示词格式变化带来的不一致性。

更关键的是，生成式模型可能从训练数据中习得人口统计学偏见，导致不同群体（如年龄、性别）获得的推荐质量存在差距。因此，研究团队提出一个核心问题：微调数据中的预处理选择，是否会在效用与公平性之间产生可衡量的权衡？

受控推荐流水线的构建

为了隔离预处理变量的影响，作者建立了一个受控的推荐流水线，包含三个关键组件：

监督微调（SFT）：在MovieLens-1M数据集上对LLM进行微调，使其学会根据用户历史生成推荐列表。
目录约束解码：在生成过程中限制模型只能输出目录中存在的物品，从而完全消除目录外物品（out-of-catalog items），并确保每次输出完整的十个推荐项。
提示增强（Prompt Augmentation）：通过丰富提示词的表达方式，提升提示一致性（prompt consistency）和推荐效用。

这一流水线为后续对比不同预处理策略提供了干净的基础。

监督微调（SFT） 是指在预训练大语言模型的基础上，使用特定任务的标注数据（此处为“用户历史→推荐列表”的样本对）继续训练，使模型适配目标领域的行为模式。与提示工程不同，SFT 通过梯度更新将任务知识写入模型参数，因此训练数据的表示方式会直接塑造模型输出。在推荐场景中，SFT 样本通常由用户交互序列和对应的目标物品列表构成，模型学习在给定历史条件下生成合理的后续推荐，这也是预处理选择能够影响最终推荐行为的根本原因。

目录约束解码是一种在生成阶段施加硬约束的解码策略：在每一步词元生成时，将候选词表限制为当前上下文中合法物品标识所对应的词元集合，从而在数学上排除生成目录外物品的可能。常见实现包括基于前缀树的受限解码和基于有限状态机的词表掩码。该方法与事后过滤不同，它从解码源头保证输出有效性，但也会引入额外的计算开销，并可能因约束过强而影响生成多样性。

三种预处理选择及其效果

研究聚焦于三种预处理选择，并分别在MovieLens-1M上进行了实验：

1. 物品标题表示（Item-Title Representation）

使用原始MovieLens标题而非经过清洗或简化的标题，显著提升了推荐效用。具体而言，HR@10从10.67%提升至12.47%，Coverage@10从41.36%提升至47.88%。这表明标题中的细节信息（如年份、副标题等）可能为模型提供了更丰富的语义信号，帮助其更准确地匹配用户偏好。

2. 人口统计学平衡（Demographic Balancing）

这一选择的效果呈现出明显的属性依赖性。年龄平衡在保持整体效用基本不变的同时，降低了所选群体层面的效用差距；而性别平衡则导致效用下降，却并未改善所评估的性别相关指标。这说明公平性干预并非总是有效，不同人口统计学属性需要区别对待。

3. 辅助物品知识增强（Auxiliary Item-Knowledge Enrichment）

为物品补充额外的知识信息（如类型、导演等）同样能够降低群体层面的效用差距，且对整体效用影响较小。这与年龄平衡的效果类似，表明知识增强是一种相对“安全”的公平性改进手段。

HR@10（Hit Rate@10） 衡量的是在测试样本中，真实交互物品出现在推荐列表前10位的比例，反映模型“命中”用户感兴趣物品的能力。Coverage@10 则统计所有推荐结果覆盖的独特物品数占目录总量的比例，衡量推荐系统的多样性与长尾挖掘能力。二者结合使用，可以避免仅凭命中率评价而忽略推荐结果过度集中的问题。在本研究中，标题表示的改进同时提升了这两个指标，说明其收益并非以牺牲多样性为代价。

效用与公平性的权衡启示

实验结果传递出一个清晰的信号：预处理选择不能仅以效用为单一评价标准。原始标题提升了效用，但可能无意中放大了某些群体的差异；性别平衡虽然意图良好，却付出了效用代价且未达到预期公平性目标。相反，年龄平衡和知识增强在效用与公平性之间取得了更好的平衡。

作者因此建议，在微调数据预处理阶段，应当从效用、输出行为和人口统计学敏感性三个维度进行联合评估。对于LLM推荐系统的开发者而言，这意味着需要根据具体应用场景和公平性目标，审慎选择预处理策略，而不是盲目追求单一指标的最优化。

对LLM推荐实践的启示

这项研究的价值在于将“数据预处理”这一常被忽视的环节推到了前台。在生成式推荐中，数据如何被表示、如何被平衡、如何被增强，都会通过微调过程嵌入模型行为。目录约束解码和提示增强等工程手段虽然能解决输出有效性问题，但无法自动消除人口统计学敏感性——后者需要针对性的数据层面干预。

未来的LLM推荐系统设计，或许需要将预处理选择视为一个多目标优化问题，在效用、一致性和公平性之间寻找帕累托前沿。而这项研究提供的受控实验框架，为这类探索提供了可复用的方法论基础。