[控场AI]
概念安慰剂测试 / Placebo Test / A/A Test

A/A测试

因果推断中用于验证模型估计稳定性的方法,通过人为制造零处理效应场景(使用治疗前数据随机指定假处理组),检验模型在已知真实效应为零时的估计误差分布,广泛用于评估不同因果模型的可靠性

时间轴 (近 90 天)

10月18日

A/A测试用于测量测试框架自身的噪声水平,是A/B测试的前提。

待验证50%
10月7日

A/A测试(安慰剂测试)通过只使用治疗前数据、假装治疗提前开始并随机挑选处理组,制造一个真实效应必然为零的场景,从而将模型报告的任何非零效应都视为估计误差

待验证50%
10月7日

Claude Code识别出处理组和对照组治疗前趋势不平行,但未进一步测试更准确的模型,也完全跳过了A/A测试步骤

待验证50%
10月7日

在安慰剂测试中,双重差分法90%的估计落在-14%到+10%之间,RMSE为7.6个百分点

待验证50%
10月7日

作者对每个模型的安慰剂测试重复500次随机抽样,以刻画误差的经验分布并计算RMSE

待验证50%
10月7日

当无法直接验证真实效应时,可以对候选因果模型先跑一轮A/A测试,再根据估计误差决定该信任哪一个模型

待验证50%

全部知识事实 (6)

来源文章