Penguin Harness
开源Agent自我进化工具,通过教练-学员双Agent协作自动优化提示词、技能、工具和钩子等周边配置,而不改变模型权重
时间轴 (近 90 天)
Penguin Harness 是一个免费开源工具,可在 GitHub 上获取,已获得超过 3000 颗星。
Penguin Harness 的核心机制是 AI 模型本身不改变,而是优化 Agent 的周边配置(提示词、技能、工具和钩子)。
Penguin Harness 采用教练-学员模式,一个 Agent 指导另一个 Agent 迭代改进,每一轮新配置都会被保存并记录分数。
在演示中,一个 Agent 的得分从 84 跃升到 100,而底层模型完全相同。
据视频介绍,在数据分析测试中,Penguin Harness 取得了最高的准确率,同时比云代码(cloud code)便宜 70 倍。
使用 Penguin Harness,法律审查应用完成了五次合同审查,总成本不到五美分。
有人用 ChatGPT 构建了一个更好的 ChatGPT,成本仅两美分,而大科技公司为此花费数十亿。
Penguin Harness 的进化方向完全由用户选择的测试决定,若测试集过于单一,优化出的配置可能过拟合。
教练 Agent 本身也是模型驱动的,其建议质量决定了学员 Agent 的进步空间。
自动修改提示词和工具配置可能引入意外行为,保存每一版是必要的,但人工审查仍然必要。
还有 2 条时间轴事件
全部知识事实 (12)
Penguin Harness 是一个免费开源工具,可在 GitHub 上获取,已获得超过 3000 颗星。
50%待验证Penguin Harness 的核心机制是 AI 模型本身不改变,而是优化 Agent 的周边配置(提示词、技能、工具和钩子)。
50%待验证Penguin Harness 采用教练-学员模式,一个 Agent 指导另一个 Agent 迭代改进,每一轮新配置都会被保存并记录分数。
50%待验证在演示中,一个 Agent 的得分从 84 跃升到 100,而底层模型完全相同。
50%待验证据视频介绍,在数据分析测试中,Penguin Harness 取得了最高的准确率,同时比云代码(cloud code)便宜 70 倍。
50%待验证使用 Penguin Harness,法律审查应用完成了五次合同审查,总成本不到五美分。
50%待验证有人用 ChatGPT 构建了一个更好的 ChatGPT,成本仅两美分,而大科技公司为此花费数十亿。
50%待验证Penguin Harness 的进化方向完全由用户选择的测试决定,若测试集过于单一,优化出的配置可能过拟合。
50%待验证教练 Agent 本身也是模型驱动的,其建议质量决定了学员 Agent 的进步空间。
50%待验证自动修改提示词和工具配置可能引入意外行为,保存每一版是必要的,但人工审查仍然必要。
50%待验证Penguin Harness 采用的上下文优化不改变模型参数,仅调整输入上下文(提示词、工具描述等),因此成本低、迭代快。
50%待验证视频作者在评论区引导观众留言“UP Trade”以获取 Penguin Harness 的链接。
50%