待验证50% 置信决策规则精确时间

当比较两个具体训练模型的预测行为差异时应固定种子使用同一测试集运行McNemar检验，当评估方法整体优越性时应用多种子重复实验配合配对t检验或非参数检验

1

来源数

50%

置信度

长期有效

时效性

2026/7/13

首次发现

来源

McNemar检验对比机器学习模型：随机种子下的正确用法

redditr/learnmachinelearning2026/7/11

相关事实

待验证多种子实验中检验对象从单样本预测分歧变为多次运行的准确率序列时，通常已不再适用McNemar检验77% 相似待验证McNemar 检验要求两个模型在完全相同的测试集上评估，任何测试集的不一致都会使检验失效76% 相似待验证Agent的回归测试需要在相同测试集上多次运行新旧版本，比较行为分布的差异而非单次结果对比75% 相似待验证作者建议的组合策略是用至少5个随机种子分别训练基线和提出方法，报告准确率均值和标准差配合配对检验，并对代表性种子额外运行 McNemar 检验展示样本级预测分歧74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/502765

API

curl https://kongchang.com/api/v1/knowledge/claims/502765

MCP

get_claim(id=502765)