代码智能体
时间轴 (近 90 天)
代码智能体的行为高度可塑,塑形它的不只是任务描述本身,还包括仓库的物理结构以及是否显式表达了优先级。
在同等条件下,三个支持性的本地文件能带来 96% 的采纳率,而兄弟资源文件(sibling-resource files)的采纳率只有 4%。
在示例数量固定的情况下,仅改变文件的放置位置,采纳率就能从 0% 跳到 100%。
当任务意图明确要求与现有代码不同时,在两个智能体、两组实现配对的联合任务中,代码示例仅达到 38/60 的联合成功率。
写成文字的优先级规则在联合任务中达到 59/60 的联合成功率,优于代码示例的 38/60。
研究覆盖四个代码智能体、六组实现配对,共进行 5,625 次试验,并在四个开源仓库中做验证,涉及三种编程语言。
不同代码智能体在没有先例时表现出高度一致的默认实现偏好。
当仓库中存在与默认偏好冲突的先例时,智能体几乎无一例外地跟随先例——在 360 次相关试验中,有 359 次选择了先例。
代码智能体在真实项目中仍需版本控制、测试覆盖和人工代码评审作为安全网,因为其自报的'测试通过'并不等同于质量保证。
演讲者建议团队引入智能体工程时,先给智能体一个边界明确的小任务,提供架构文档、仓库结构、约定和约束;执行前先要计划并审查计划;明确验收标准;强制验证手段;在安全敏感或高影响操作周围保留人工检查点。
还有 2 条时间轴事件
全部知识事实 (13)
顶尖代码智能体已能自主解决超过50%的真实GitHub Issue
70%待验证代码智能体正在从交互式开发者工具演进为可编程的开发基础设施
70%待验证代码智能体的行为高度可塑,塑形它的不只是任务描述本身,还包括仓库的物理结构以及是否显式表达了优先级。
50%待验证在示例数量固定的情况下,仅改变文件的放置位置,采纳率就能从 0% 跳到 100%。
50%待验证当任务意图明确要求与现有代码不同时,在两个智能体、两组实现配对的联合任务中,代码示例仅达到 38/60 的联合成功率。
50%待验证写成文字的优先级规则在联合任务中达到 59/60 的联合成功率,优于代码示例的 38/60。
50%待验证研究覆盖四个代码智能体、六组实现配对,共进行 5,625 次试验,并在四个开源仓库中做验证,涉及三种编程语言。
50%待验证不同代码智能体在没有先例时表现出高度一致的默认实现偏好。
50%待验证当仓库中存在与默认偏好冲突的先例时,智能体几乎无一例外地跟随先例——在 360 次相关试验中,有 359 次选择了先例。
50%待验证在同等条件下,三个支持性的本地文件能带来 96% 的采纳率,而兄弟资源文件(sibling-resource files)的采纳率只有 4%。
50%待验证代码智能体在真实项目中仍需版本控制、测试覆盖和人工代码评审作为安全网,因为其自报的'测试通过'并不等同于质量保证。
50%待验证演讲者建议团队引入智能体工程时,先给智能体一个边界明确的小任务,提供架构文档、仓库结构、约定和约束;执行前先要计划并审查计划;明确验收标准;强制验证手段;在安全敏感或高影响操作周围保留人工检查点。
50%待验证coding agent 的工作原理本质上是通过写代码来操控电脑
50%