概念安慰剂测试 / Placebo Test / A/A Test
A/A测试
因果推断中用于验证模型估计稳定性的方法,通过人为制造零处理效应场景(使用治疗前数据随机指定假处理组),检验模型在已知真实效应为零时的估计误差分布,广泛用于评估不同因果模型的可靠性
时间轴 (近 90 天)
10月18日
A/A测试用于测量测试框架自身的噪声水平,是A/B测试的前提。
待验证50%
10月7日
A/A测试(安慰剂测试)通过只使用治疗前数据、假装治疗提前开始并随机挑选处理组,制造一个真实效应必然为零的场景,从而将模型报告的任何非零效应都视为估计误差
待验证50%
10月7日
Claude Code识别出处理组和对照组治疗前趋势不平行,但未进一步测试更准确的模型,也完全跳过了A/A测试步骤
待验证50%
10月7日
在安慰剂测试中,双重差分法90%的估计落在-14%到+10%之间,RMSE为7.6个百分点
待验证50%
10月7日
作者对每个模型的安慰剂测试重复500次随机抽样,以刻画误差的经验分布并计算RMSE
待验证50%
10月7日
当无法直接验证真实效应时,可以对候选因果模型先跑一轮A/A测试,再根据估计误差决定该信任哪一个模型
待验证50%
全部知识事实 (6)
待验证
A/A测试用于测量测试框架自身的噪声水平,是A/B测试的前提。
50%待验证A/A测试(安慰剂测试)通过只使用治疗前数据、假装治疗提前开始并随机挑选处理组,制造一个真实效应必然为零的场景,从而将模型报告的任何非零效应都视为估计误差
50%待验证Claude Code识别出处理组和对照组治疗前趋势不平行,但未进一步测试更准确的模型,也完全跳过了A/A测试步骤
50%待验证在安慰剂测试中,双重差分法90%的估计落在-14%到+10%之间,RMSE为7.6个百分点
50%待验证作者对每个模型的安慰剂测试重复500次随机抽样,以刻画误差的经验分布并计算RMSE
50%待验证当无法直接验证真实效应时,可以对候选因果模型先跑一轮A/A测试,再根据估计误差决定该信任哪一个模型
50%