职业化系统提示词无助科学推理：503份AI画像实测揭示成本陷阱

一个被广泛采用却缺乏验证的做法

在构建AI智能体时，给模型注入一段详尽的"职业人设"系统提示词已经成为业界习惯——告诉模型"你是一位资深生物信息学家"，再附上大段的专业背景、工作方法与注意事项。这类做法背后的直觉很朴素：越专业、越具体的角色设定，应该能让模型给出更专业的回答。

但一篇最新的arXiv研究对这一假设提出了实证挑战。研究团队系统评估了名为 Scientific Agents 的开源语料库，其中包含 503 份职业专属的 AGENTS.md 画像文件，试图回答一个关键问题：这些精心编写的职业化提示词，真的能提升科学任务上的准确率吗？

结论相当直接：对于被测试的模型和任务而言，默认加载完整职业画像既不提升准确率，还显著抬高成本。

实验设计：五组对照下的严格比较

这项研究的价值很大程度上来自其方法论的严谨性。团队使用 Gemini 3.8 Flash（通过 OpenRouter 接入，运行在 Pi agent harness 中），将匹配的职业画像与四种对照条件进行横向比较：

• 极简基线：仅一句"You are a helpful assistant"
• 角色开场句：只保留画像开头的角色定义句
• 通用科学严谨性指南：不含具体职业信息的泛化提示
• 跨领域错配画像：来自不相关专业的画像

评测覆盖九个基于文本的科学基准，抽样 4531 道题目、100 份匹配画像，其中 4488 项在经过 API 错误重试后完整跑完全部五种条件，并采用自动化的规则评分。这种"同一问题、五种提示"的受控设计，有效隔离了提示词变量本身的影响。

自助法（Bootstrap）置信区间是本研究统计推断的核心工具，值得简要说明。与传统参数检验不同，自助法通过对现有样本反复随机重采样（通常数千次）来估计统计量的抽样分布，无需对数据分布做正态等先验假设。本研究报告的95%区间意味着：若反复对相同题目集重采样，95%的情况下准确率差值会落在该区间内。区间完全包含0（如[-1.5, +0.2]），说明无法排除"两种条件效果相同"的零假设——即差异很可能只是随机波动，而非职业画像带来的真实信号。这种表述方式比单纯的p值更直观地展示了效应量的不确定范围。

核心发现：准确率没涨，成本翻倍

最关键的数据是：职业画像相对极简基线的平均准确率差异为 -0.6 个百分点，95% 自助法区间为 [-1.5, +0.2]，跨固定任务。换句话说，没有任何一个基准显示出统计学上清晰的提升——专业人设带来的准确率收益，在噪声范围内约等于零。

同时，代价却相当可观。匹配画像产生的输出 token 数量是基线的 1.5 至 2.3 倍，每次成功调用的成本则高达基线的 2.2 至 4.5 倍。对于需要大规模部署智能体的场景，这意味着在没有可见回报的前提下，推理账单可能直接翻两到四倍。

工具调用场景更糟：反而拖累成功率

在更贴近真实工作流的 BioMysteryBench 生物信息学任务上（60 道需要调用工具的问题，基线与画像各跑三轮），结果更令人意外。

使用职业画像的平均解题率为 46.7%，而极简基线却达到 56.7%，差距为 -10.0 个百分点（95% 区间 [-16.7, -3.3]）。研究指出，这一下降主要由画像条件下更频繁触发 token 上限和时间上限中断 所致——冗长的系统提示占用了宝贵的上下文与推理预算，反而让智能体更容易在中途"卡死"。

这个发现尤其值得工程实践者警惕：在多轮工具调用的复杂任务里，提示词的长度本身就是一种成本，可能直接转化为失败率。

上下文窗口（Context Window）与推理预算的概念有助于理解这一现象。大型语言模型在每次推理时能处理的文本长度有上限（即上下文窗口），系统提示词、对话历史和工具调用返回值共同占用这一有限空间。在多轮工具调用的智能体场景中，模型需要在同一上下文中迭代执行"思考→调用工具→接收结果→再思考"的循环。若系统提示词本身就占据数千token，留给中间推理步骤和工具返回结果的空间便相应压缩。一旦触及token上限，模型会被强制截断输出或中止推理链，导致任务失败。这解释了为何在BioMysteryBench这类需要多步工具调用的任务中，冗长的职业画像会直接转化为更高的中途失败率，而非仅仅增加成本。

唯一的意外优势，与专业知识无关

研究中出现了一个耐人寻味的反例。在 SuperGPQA 基准上，由于服务商 API 频繁掉线，极简基线仅在 54.0% 的题目上拿到首轮正确答案，而职业画像则达到了 71.6%。

乍看之下这像是长提示词的胜利，但作者的分析打破了这种误读：通用提示和错配画像同样可靠。这说明该优势来自提示词的"长度或格式"，而非任何领域专业知识。本质上，更长的输入在某些 API 可靠性边缘情况下改变了调用行为，与"你是不是真专家"毫无关系。

SuperGPQA是一个覆盖285个细分学科的大规模研究生水平知识问答基准，题目以封闭式单选为主，专为测试模型的专业知识深度而设计。文中提到的API可靠性问题（极简基线仅完成54%首轮回答）暗示：在调用频繁失败的情况下，更长的输入可能改变了请求的超时行为或触发了不同的服务端处理路径，而非真正提升了模型的领域能力。这也提示在评估提示词效果时，需要区分"任务成功率"与"答题准确率"——前者受基础设施稳定性影响，后者才真正反映提示词的智识价值。

对AI工程实践的启示

这项研究对当下盛行的"人设工程"提出了务实的反思。几个要点值得记住：

• 默认堆砌职业画像不是免费午餐：在准确率零收益的情况下，它持续放大 token 消耗与成本。
• 长提示在工具任务中可能有害：挤占推理预算导致更多超时中断。
• 观察到的"收益"要追问来源：长度、格式还是真实领域知识？本研究中前者才是真相。

当然，作者也坦诚界定了研究边界。这些结论基于特定模型（Gemini 3.8 Flash）与封闭式评测任务，是否选择性检索画像的部分章节、或面对开放式科学任务会改变结论，仍有待验证。这为后续研究留下了明确空间——与其默认灌入整份职业画像，"按需检索相关片段"或许是更划算的方向。

对于正在搭建科学智能体的团队而言，这项工作提供了一个朴素但有力的提醒：在为提示词增加复杂度之前，先用受控实验证明它真的有用。