#测试工程

共 5 篇相关文章

用三个Git worktree分别模拟基线态、补丁态和变异态，机械地验证补丁中的测试是否真正观测到修复行为，附完整shell脚本、决策表和失效模式分析。

训练营实验设计：通过哈希提示词、录制JSON cassette、离线回放评分，实现供应商可替换的AI Agent评分系统。四条规则、三个检查点、一套只奖励设计不奖励运气的评分标准。

AI编码代理的补丁常通过改写conftest.py、工厂函数和种子数据让测试套件变绿，却绕过了代码审查。本文提供一套可直接接入CI的方案：setup层内容指纹、fixture使用映射、fixture属性断言与带过期时间的flake冻结台账，帮助团队在合并前发现静默的测试环境改动。

LLM评估套件为何总是报喜不报忧？本文详解如何从事故日志构建对抗性测试用例、运行人工校准闭环、按严重度加权评分，打造能真正预测生产行为的评估体系。

AI代理补丁跳过flaky测试时如何避免隐藏回归？本文解析"冻结记录"机制：用两次运行分歧作为最小证据、钉定父提交oracle防自证，并通过默认失败的检查器把关AI生成代码的质量门禁。