[控场AI]
概念Self-Evaluation

自我评估

让模型自身判断输出是否正确并给出修改建议的反馈方式,适用范围广但存在'自我评估悖论'——若模型能准确判断自身错误则不会犯该错误

时间轴 (近 90 天)

11月4日

每个回合额外增加一次模型调用,对大规模部署意味着实打实的开销,成本与延迟问题尚未解决。

待验证50%
11月1日

Anthropic推出名为“自我评估”的安全技术,模型在生成回复后利用现有KV缓存进行隐藏安全评估,额外开销仅约10个Token和不到2%的额外推理算力。

待验证50%
11月1日

据Anthropic官方数据,在Claude Fable 5上测试“自我评估”系统时,识别出78%的潜在有害对话和94%被更强分类器标记的高优先级案例,误报率仅1%。

待验证60%
10月19日

让写代码的Agent自己判断是否完成,结果几乎永远是通过,这不是态度问题,而是结构决定的。

待验证50%
10月12日

自我评估存在根本性风险(自我评估悖论):如果模型有能力准确判断自己的输出是否正确,它一开始就不太可能犯这个错误,因此自我评估的效果往往不如外部验证可靠。

待验证50%

全部知识事实 (5)

来源文章