待验证50% 置信观点时间未知

单次任务的评测结果存在偶然性，同一模型在不同prompt、不同随机种子下可能给出差异明显的答案

1

来源数

50%

置信度

长期有效

时效性

2026/9/12

首次发现

来源

三大AI编程模型对决：Opus 4.7、GPT-5与DeepSeek V4-Pro实测

githubnikicat

相关事实

待验证大模型输出即使输入完全相同，不同的随机种子或采样参数都可能导致截然不同的输出78% 相似待验证即便固定所有随机种子，在不同硬件或并行度下，训练结果仍可能出现被大模型放大为显著能力差异的细微偏差77% 相似待验证在某些任务上，仅因随机种子不同导致的性能波动幅度可能超过某些论文声称的方法创新带来的提升73% 相似待验证随机抽样检查一致性会因大部分样本简单而得到虚高的一致率，掩盖真正有问题的区域73% 相似待验证少样本提示中仅改变示例顺序就可能导致准确率从接近随机到接近最优的巨大波动72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/917840

API

curl https://kongchang.com/api/v1/knowledge/claims/917840

MCP

get_claim(id=917840)