待验证50% 置信权衡取舍精确时间

研究场景中通常允许多次采样并针对题型设计提示词，因此研究者区分pass@k与单次通过率两种指标

1

来源数

50%

置信度

长期有效

时效性

2026/9/23

首次发现

来源

AI攻克国际数学奥林匹克：最后一道难题的启示

涉及实体

相关事实

待验证不同实验室评估设置差异（如pass@k、思维链提示、代码执行工具）会导致同一模型在不同报告中呈现不同分数，使跨实验室对比复杂74% 相似待验证Evidently 内置了 KS 检验、卡方检验、PSI 等多种统计检验方法来量化漂移程度，并根据特征数据类型自动选择合适的检验方法70% 相似待验证研究者呼吁建立分阶段的评估标准，将不同层次的证据映射到相应强度的可防御性声明，避免过度概括有限实验结果70% 相似待验证评估替代工具应进行小规模对照测试，用相同研究任务分别运行原版与替代版对比Token消耗与输出质量70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/943020

API

curl https://kongchang.com/api/v1/knowledge/claims/943020

MCP

get_claim(id=943020)