概念controlled experiment / 对照试验
对照实验
科学研究中检验干预效果的基本实验设计，通过设置接受干预的实验组与保持原状的对照组并比较结局差异来控制混杂因素
核心事实
时间轴 (近 90 天)
10月31日
在 AI 开发语境中，“运行实验”通常指对照实验（A/B 测试或离线评测）：固定其他变量，只改变一个因素（如模型版本、提示词模板、检索策略、温度参数），用同一批代表性输入跑出结果并量化对比。
待验证50%
10月17日
对照实验是检验干预效果的基本研究设计：将样本分为实验组与对照组，前者接受干预，后者保持原状，再比较两组结局差异
已验证75%
10月12日
检索和生成必须分开测试，通过建立小型评估集，先单独检查检索器有没有召回正确证据，再去评估模型措辞。
已验证65%
10月10日
判断调参是否有帮助应做对照实验：固定资料和提示词，只改变温度做成对比较并用相同种子，评判前先写好人工核对标准
待验证50%