Agent Harness
连接大模型和工具的执行框架,负责任务编排、状态管理和错误处理
核心事实
时间轴 (近 90 天)
Harness 的架构可归纳为三大核心组成:Runtime(模型运行时)、User Interface(用户界面)和 Context Manager(上下文管理器)。
同一模型在不同 Harness 上跑 Terminal Bench 数据集,效果存在差异,厂商发布的模型往往针对特定 Harness 调优。
Agent Framework 更像编程库,提供对 LLM 的抽象、工具原语、记忆和编排能力,但需要开发者自己实现工具调用循环、会话管理、网络重试等细节;Harness 则是开箱即用的完整执行环境。
Agent 的一个常见定义是 Agent = Model + Harness,即 Harness 是 Agent 中除了模型之外的所有部分。
大模型在Agent中只负责接收消息和输出消息,真正执行文件读取、命令运行等操作的是Agent Harness。
Katz 指出 Harness 中有三样模型无法吸收的东西:基础设施与 routing、信任与安全、效率(成本优化)。
Harness 正在走向更高抽象层级:上一代是把一堆 LLM 调用组合起来,新一代把 Agent 当作核心构建单元。
模型评测分数虽受 Harness 影响不大,但每个任务的成本在不同 Harness 之间存在显著差异。
“Harness 死了”的准确含义是:花哨的 Harness 不再能给模型增加编码智能,而非 Harness 本身完全消失。
Jediah Katz 将 Agent Harness 定义为「包裹模型、操控模型、并将它连接世界」的系统层,分为 Runtime 层与 Context 编排层。
还有 40 条时间轴事件
全部知识事实 (20)
Agent Harness指包裹在大语言模型外围、负责协调模型与外部世界交互的整套工程系统
80%已验证Harness是Agent运行所依赖的工具集合与运行环境,是让AI能够执行操作的底层基础设施
80%已验证智能体框架(Agent Harness)不替代核心模型的推理能力,而是在模型之外构建运行时管理壳,负责工具调用、状态管理、错误恢复等横切关注点
80%已验证Agents API 的技术底座由 Codex harness 提供支持
75%已验证AgentConnect支持从对话、Pull Request、Issue、Webhook或定时任务等多种来源自动触发智能体任务
75%已验证Harness概念源于软件工程中的Test Harness(测试脚手架),在AI Agent语境下扩展为让Agent持续、循环、可控运行的系统性工程
75%已验证Agent Harness(智能体线束)是一套围绕Agent构建的工程化约束框架,概念借鉴自汽车工程中的线束系统
75%已验证许多智能体框架在设计时刻意将最终评估数据与优化循环隔离,智能体只能看到训练和验证信号,无法直接接触测试集
65%已验证Harness首次运行会要求填入DeepSeek的API密钥,但用户可在设置中接入其他提供商,包括通过OpenCode接入GPT系列模型和本地Ollama
65%已验证工具调用(Function Calling/Tool Use)是Agent系统的核心能力,允许模型动态调用搜索引擎、代码解释器、数据库查询、API接口等外部资源
65%待验证Superpowers本质上是一个专为Coding场景设计的轻量级Agent Harness实现
85%待验证同一模型在不同 Harness 上跑 Terminal Bench 数据集,效果存在差异,厂商发布的模型往往针对特定 Harness 调优。
50%待验证Agent Framework 更像编程库,提供对 LLM 的抽象、工具原语、记忆和编排能力,但需要开发者自己实现工具调用循环、会话管理、网络重试等细节;Harness 则是开箱即用的完整执行环境。
50%待验证Harness 的架构可归纳为三大核心组成:Runtime(模型运行时)、User Interface(用户界面)和 Context Manager(上下文管理器)。
50%待验证Agent 的一个常见定义是 Agent = Model + Harness,即 Harness 是 Agent 中除了模型之外的所有部分。
50%待验证大模型在Agent中只负责接收消息和输出消息,真正执行文件读取、命令运行等操作的是Agent Harness。
50%待验证“Harness 死了”的准确含义是:花哨的 Harness 不再能给模型增加编码智能,而非 Harness 本身完全消失。
50%待验证Harness 正在走向更高抽象层级:上一代是把一堆 LLM 调用组合起来,新一代把 Agent 当作核心构建单元。
50%待验证Katz 指出 Harness 中有三样模型无法吸收的东西:基础设施与 routing、信任与安全、效率(成本优化)。
50%待验证模型评测分数虽受 Harness 影响不大,但每个任务的成本在不同 Harness 之间存在显著差异。
50%