[控场AI]
· 4 分钟阅读· 2,493 字

THEATRON:评估LLM长程决策中的人格持续性

THEATRON:评估LLM长程决策中的人格持续性

THEATRON 用金融回放检验大模型人格能否在数月连续决策中持续生效。

THEATRON 是一个针对大模型人格持续性的基准,指出既有评测多停留在单轮对话中的语气模仿,测试的是人格表达而非人格信息能否在长程决策中持续。它采用金融回放作为受控环境,为模型赋予行为金融学人格,在共享市场证据和各自账户反馈下连续决策数月,并对比 Zero-Shot、One-Shot、Chain-of-Thought 三种注入方式与四个模型。结果显示人格条件能带来系统性行为偏移且跨人格区分度高于语义等价改写,但这些偏移无法可靠形成连贯策略:稳定区分可能源自刻板化动作坍缩,多样策略也可能伴随嘈杂切换。研究提示人格注入需在多步轨迹中反复验证。

大模型能否在长达数月的连续决策中“记住自己是谁”?现有的人格化评估大多停留在单轮对话中的语气模仿,却很少检验人格信息能否在长程决策中持续影响行为。THEATRON 基准试图填补这一空白。

THEATRON 基准发布

为什么“人格表达”不等于“人格持续”

当前的人格化评测通常让模型扮演某个角色说几句话,看它是否“像那个人”。但真实场景中的智能体需要在连续多步决策里保持一致的偏好、风险态度和策略风格。原文指出,现有评估“测试的是人格表达,而非人格信息能否在扩展决策中持续存在”。这是一个关键区分:模型可以模仿某种口吻,却在每一步决策中随机切换策略,表面上的人格特征不过是措辞层面的装饰。

THEATRON 的出发点是把人格从“说话方式”拉回到“行为倾向”,用可量化的决策轨迹来判断人格是否真正生效。

金融回放:把人格放进长程决策沙盒

THEATRON 采用金融回放作为受控实验环境。模型被赋予固定的行为金融学人格(behavioral-finance personas),在共享的每日市场证据下,各自接收与自身轨迹相关的账户状态反馈,并在跨越数月的轨迹上做出连续决策。

这种设计同时控制了两个变量:市场信息对所有模型一致,避免信息差异干扰比较;账户状态反馈则与每条轨迹绑定,使决策后果真实累积。人格不再是提示词里的一句话,而是需要在每一步权衡中体现的稳定倾向。

行为金融学人格指从行为金融学研究中提炼出的一组典型投资者倾向,例如损失厌恶(对亏损的敏感度高于同等收益)、过度自信(高估自身判断准确性)、羊群效应(倾向跟随市场共识)或处置效应(过早卖出盈利、过久持有亏损)。THEATRON 将这些倾向参数化为可操作的人格设定,使模型的每一步买卖、仓位调整都能被映射到具体的行为维度上,而不是仅凭语气判断“像不像”。这让人格从定性描述转为可测量、可对比的决策偏好结构。

三种注入方式与四项模型

研究对比了 Zero-Shot、One-Shot 和 Chain-of-Thought 三种人格注入方式,覆盖四个大语言模型。评估指标聚焦两类信号:累计收益(cumulative return)和动作轨迹(action trajectories),并据此诊断三个维度——人格内稳定性(within-persona stability)、跨人格可分性(cross-persona separability)以及动作坍缩(action collapse)。

这一评测框架的价值在于,它不只看最终收益高低,而是检查同一人格在不同时间点是否做出风格一致的选择,不同人格之间是否产生可区分的决策模式,以及模型是否退化为反复执行同一动作的“坍缩”状态。

**动作坍缩(action collapse)**指模型在长程决策中反复输出同一或极少数动作,例如始终持有或始终买入,从而使动作序列看似高度稳定。这种“稳定”并非源于一致策略,而是策略空间的退化和探索能力的丧失。它与真正的人格一致性在指标上容易混淆:两者都表现为低方差轨迹。THEATRON 因此同时考察动作多样性,以区分“稳定地遵循偏好”与“稳定地重复一个动作”,这是判断人格是否真正生效的关键判别信号。

关键发现:有行为偏移,但缺乏连贯策略

实验结果呈现出一种微妙的张力。人格条件确实带来了系统性的行为偏移,明显区别于无人物设定的基线;人格层面的区分度通常也大于语义等价描述所带来的波动。换句话说,换个说法不会显著改变行为,但换个人格设定会。

然而,这些偏移并不能可靠地形成连贯的人格专属策略。原文特别指出两个反向信号:看似稳定的区分度,可能来自刻板化的动作坍缩;而看似多样的策略,又可能伴随着嘈杂的轨迹切换。这意味着评测中观察到的“人格一致性”有可能是假象——模型不是稳定地遵循某种策略,而是稳定地重复某个动作,或者在不稳定地随机摇摆。

这暴露出可观察的人格诱导行为与持久的、情境敏感的人格条件决策策略之间存在鸿沟。对构建长期智能体的开发者来说,这是一个直接警示:提示词层面的人格设定,未必能转化为长程决策中的可靠行为约束。

**跨人格可分性(cross-persona separability)**衡量不同人格设定下决策轨迹能否被可靠区分,通常通过比较各人格间动作分布或收益序列的差异程度来量化;可分性高说明人格设定确实改变了行为。**人格内稳定性(within-persona stability)**则衡量同一人格在整条时间线上是否保持风格一致,关注轨迹内部的方差与漂移。两个指标需联合解读:仅有高可分性而缺乏内稳定性,可能意味着模型只是对不同提示做出刻板反应;仅有高内稳定性而可分性低,则可能所有模型都退化为相似的安全策略。

对人格化智能体开发的启示

THEATRON 的意义不止于一个基准分数。它提供了一种诊断思路:评估人格持续性时,必须同时观察轨迹稳定性与动作多样性,避免把动作坍缩误读为一致性。研究团队将代码与基准数据公开在 GitHub(yuyan12138/theatron),便于复现与扩展。

对于需要长期运行、保持角色一致性的 AI 应用——如虚拟顾问、陪伴型智能体、模拟交易系统——这项研究提示,人格注入的效果需要在多步决策中反复验证,而非依赖单轮表现下结论。人格能否“持久”,最终要由轨迹说话。

背景补充

Chain-of-Thought 注入指在提示中要求模型先显式写出推理步骤,再给出决策,以期推理过程承载并强化人格约束;One-Shot 注入则提供一个符合目标人格的示范决策作为范例,让模型模仿其风格;Zero-Shot 仅给出人格描述而不提供推理引导或示例。三者代表了从弱到强的人格条件施加方式,对比它们可以揭示:人格信息究竟是通过推理链条、示例模仿还是单纯描述进入决策过程,以及哪种路径更可能形成跨时间一致的策略。

#THEATRON#人格持续性#长程决策#LLM评测基准#人格注入#动作坍缩#金融回放#智能体行为
分享:

相关推荐