待验证50% 置信基准精确时间
当前数据集包含 29 个模型/配置条目下的 770 次记录尝试,但统一测试套件中只有 16 个不同任务
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/12
首次发现
有效期至:2027/1/10
来源
涉及实体
相关事实
待验证该基准测试使用10篇200到250词的原创短文档,埋入18处异常,共37个评分条目(18脏19净),测试13个模型,每个模型74条prompt75% 相似待验证测试套件共10个,大多数各跑1000题,HumanEval为164题,TruthfulQA为817题71% 相似待验证在使用Traework完整模拟产品开发流程的测试中,工具在调研阶段检索了100多个来源,但经人工核验后真正可用的只有约40个,另外60个需要剔除或再查70% 相似待验证该测试样本规模相对有限(5个模型、13个代码库),结论有待更大规模验证69% 相似待验证数据集中每个工具约有130种表达变体,并加入40个不使用工具的负样本68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1003722API
curl https://kongchang.com/api/v1/knowledge/claims/1003722MCP
get_claim(id=1003722)