AI Agent的Harness工程:从MVP到团队级规则的治理框架

AI Agent治理的核心不是堆砌能力,而是先建Harness约束框架,用双轨留痕实现持续自进化。
本文提炼自B站UP主平子的视频观点,核心论点是:Agent能力越强,越需要Harness(约束框架)来保证执行质量,而非仅靠模型升级。文章给出了一套可操作的方法论:第一版Harness应从MVP出发,打通最小结果闭环;执行过程必须强制留痕,且留痕分为"学习信号"和"运行Trace"两条轨道,前者驱动Harness演进,后者用于排障与评测。当AI产生可推广经验时,规则应由AI主动给出候选范围,经人工确认后像代码PR一样接受Review,再经评测和灰度发布才能升级为团队级规范。整套方法论的核心类比是:代码PR交付本次结果,Harness PR提升下一次的结果。
强能力不等于高质量执行
随着大模型能力的快速提升,越来越多团队开始把宝押在"增强 Agent 能力"上——使用更好的模型、接入更多工具、编排更复杂的 skill。但 B 站 UP 主平子在最新视频中提出了一个反直觉的观点:Agent 的能力越强,反而越需要控制,而这个控制机制就是 Harness(约束框架)。
这个判断值得所有做 AI Agent 的团队认真对待。能力增强本质上是在扩大 Agent 的执行范围和自主度,但强能力并不代表高质量的执行结果。一个能自主编码、自主调用工具的 Agent,如果没有清晰的治理边界,它的"失控"成本也会成倍放大。因此,当资源有限、只能优先投入一个方向时,答案应该是先建设 Harness 的执行流程,因为这本身就是 Harness Engineering 的核心。
换句话说,能力不是替代治理的理由,恰恰相反——Agent 的执行范围越大,越需要阶段权限、治理门禁、回退机制和人工介入。
Harness 该完整设计还是先做 MVP
以 Web Coding 为例,一个理想的 Harness 应该清晰定义整个流程中的关键节点:需求澄清、技术方案设计、编码、测试、发布。每个节点还需要明确规则——什么时候可以进入下一个节点、什么时候发现问题需要回退、什么时候 AI 可以自主编码、什么时候必须人工 Review。
但如果一上来就设计需求评审、总体方案、详细方案、风险评审、测试发布等大量节点,会不会变成形式主义?答案很明确:应该先做 MVP,而不是追求流程完整。
第一版 Harness 只需要尽量简约的流程:根据需求文档产出一个像样的技术方案,再让技术方案指导 AI 产出不错的编码结果,基本就够了。Harness 不是凭空一次设计出来的,而是在"干中学"的持续演进中逐渐变强。

这个思路与产品开发的通用规律一致:先打通最短闭环,拿到初步结果,再从真实失败中不断补齐能力、增加节点。如果团队还不清楚 AI 最容易在哪个环节出错,过早设计一套庞大的评审流程只会拖慢迭代速度。
最小 Harness 也必须留下学习信号
要让 Harness 能够持续演进,关键在于强制记录 AI 的完整处理过程。但记录并非越多越好,合理的做法是将留痕划分为两条轨道。
轨道一:用于 Harness 演进的学习信号
这部分是最有价值的内容,包括:
- 产物的修改:比如技术方案修改前后的版本,能看到具体改了什么。这样才能判断下一次能否在第一次产出时就达到修改后的标准。
- 人类纠正 AI 的内容:这代表 AI 原本没有理解或没有做到的地方。
- 反复强调才达成一致的问题:经过多轮对话才对齐的内容,是 AI 最需要补课的学习信号。
- 改变执行方向的关键决策。

轨道二:用于排查和评测的运行 Trace
这部分包括完整会话的输入输出、每个节点选择了什么模型或工具及其对应输出、工具调用、文件读写命令、测试日志等。它们更多用于问题排查、留痕和后续评测数据准备,不一定全部进入下一次的上下文,做一步存储即可。
有意思的是,Agent 各节点的学习价值都很高。用户在生产环境中的每一个动作——点击了多少次"继续"、反问了多少次、在多个决策中选择了哪个——都是关键的业务埋点数据。理解用户"为什么这样选",是让 Agent 后续能够一步到位的重要依据。
规则如何从任务级升级到团队级
当人类纠正 AI 后(比如"接口不能直接返回数据库实体"),这条经验的作用域该由谁判断?是人类当场标注,还是让 AI 推断?
推荐的交互方式是:AI 不应只问"要不要记住",而应主动给出候选规则、推断依据、建议的作用域和目标文件,人类只需确认或缩小范围。这种方式让 AI 汇报得更确定、更细节,人类的决策成本降到最低。
规则应该像代码一样被评审
一条被确认适用于当前项目的经验,是立即生效还是需要 Owner Review?建议是:应该在 Code Review 时和本次代码一起评审。

逻辑在于:Web Coding 之后代码本就需要评审,而流程中产出的知识点、新规范同样需要沉淀到团队级或项目级,这些都需要项目 Owner 和核心负责人一起确认。确认后再经过评测证明它确实能让 Agent 表现更好,才进入上线流程——灰度、逐渐全量,和代码发布完全一致。
这里有一个关键判断:代码和规则可以一起提交、一起 Review,但不一定一起生效。当代码正确时,只能证明规则对本次任务有效;要升级成项目级或团队级规则,还需要走评测这道"Agent 的测试"。
核心结论:代码 PR 与 Harness PR 的双重价值

整套 Agent 治理方法论可以归结为一个精炼的类比:
代码的 PR 交付本次结果,Harness 的 PR 提升下一次的结果。
这个框架把 Agent 工程的治理逻辑讲透了。总结几个关键判断:
- Agent 能力越强,Harness 越重要——强能力不代表高质量执行。
- 第一版 Harness 应做 MVP,先打通最小结果闭环,再在干中学中演进。
- 最小 Harness 也必须留下学习信号,否则 Agent 永远停留在同一水位线。
- 最有价值的学习信号是产物修改、人类纠正和反复沟通的问题。
- 项目级规则要像代码一样经过 Review 和评测,才能发布生效。
对于正在构建 AI Agent 系统的团队来说,这套"以结果为导向、从真实失败中演进、用双轨留痕支撑自进化"的方法论,比盲目堆砌能力更有实践价值。真正该补的从来不是能力,而是让能力可控、可追踪、可持续变强的那套治理框架。
相关推荐

让AI审查自己的文档:验证CLAUDE.md真伪的开源工具包
RAG Techniques仓库作者开源了一套工具,用于验证AI Agent读取的CLAUDE.md和项目文档中哪些是猜测、哪些被代码证伪。文章解析其置信度标注机制、与Claude Code /init的对比及局限性。

谷歌又一AI安全研究员离职:警告"我们可能都要死"
谷歌又一位AI安全研究员离职并发出"人类可能面临灭绝"的极端警告,本文解析此类离职背后的行业张力、存在性风险争论以及AI治理的深层挑战。

19.8MB的LLM:44M参数模型如何在CPU上跑出1900 tok/s
开发者QLNI从零训练出仅19.8MB、44M参数的量化语言模型SHADOW-50M,采用三元权重和冻结指纹词表,CPU上跑出约1900 tok/s。它把计算交给专用电路、记忆交给磁盘索引,在精确计算与可靠检索任务上超越同级模型。