SimpleQA
OpenAI推出的评估语言模型事实性问答能力的基准测试，专门测试模型对简短、有明确答案的事实性问题的回答准确度，用于衡量模型的幻觉倾向
时间轴 (近 90 天)
SimpleQA衍生自OpenAI于2024年发布的SimpleQA数据集，后者包含约4000条由人工编写、答案唯一且简短的事实性问题。
SimpleQA Verified基准包含1000个问题，由OpenAI原始SimpleQA数据集经过参考答案核对、相似问题去除和主题平衡后筛选得出。
在SimpleQA基准测试中，o4-mini只拒答1%的问题，错误率为75%。
o4-mini与gpt-5-thinking-mini在SimpleQA上的准确率几乎相同，但后者错误数量比前者少大约三倍。
在SimpleQA基准测试中，gpt-5-thinking-mini拒答52%的问题，错误率为26%。
由模型发布方主导制定基准是当前大模型领域的普遍现象，类似情况出现在OpenAI的SimpleQA、Google的BIG-Bench等评测中
v4.1 Flash的专家权重直接以FP4（每参数4比特）出厂，从未发布过8-bit版本，接近该格式的压缩极限，无法进一步量化用于Agentic任务
SimpleQA是OpenAI推出的评估语言模型事实性问答能力的基准，测试模型对简短、有明确答案的事实性问题的回答准确度
开发者宣称MiAPI在SimpleQA基准测试上达到82%的准确率并超越Perplexity
SimpleQA是OpenAI于2024年10月开发的评测基准，包含4326道有明确事实答案的简短问题
还有 1 条时间轴事件
全部知识事实 (11)
v4.1 Flash的专家权重直接以FP4（每参数4比特）出厂，从未发布过8-bit版本，接近该格式的压缩极限，无法进一步量化用于Agentic任务
60%待验证SimpleQA衍生自OpenAI于2024年发布的SimpleQA数据集，后者包含约4000条由人工编写、答案唯一且简短的事实性问题。
50%待验证SimpleQA Verified基准包含1000个问题，由OpenAI原始SimpleQA数据集经过参考答案核对、相似问题去除和主题平衡后筛选得出。
50%待验证在SimpleQA基准测试中，o4-mini只拒答1%的问题，错误率为75%。
50%待验证o4-mini与gpt-5-thinking-mini在SimpleQA上的准确率几乎相同，但后者错误数量比前者少大约三倍。
50%待验证在SimpleQA基准测试中，gpt-5-thinking-mini拒答52%的问题，错误率为26%。
50%待验证由模型发布方主导制定基准是当前大模型领域的普遍现象，类似情况出现在OpenAI的SimpleQA、Google的BIG-Bench等评测中
50%待验证SimpleQA是OpenAI推出的评估语言模型事实性问答能力的基准，测试模型对简短、有明确答案的事实性问题的回答准确度
50%待验证开发者宣称MiAPI在SimpleQA基准测试上达到82%的准确率并超越Perplexity
50%待验证SimpleQA是OpenAI于2024年10月开发的评测基准，包含4326道有明确事实答案的简短问题
50%待验证SimpleQA是OpenAI开发的评测基准，专门测试模型在面对事实性问题时是否能准确判断自身知识边界
50%