待验证50% 置信基准精确时间

本次测试采用群友提供的屎山基准，共34道功能题，按难度分为简单、中等、困难和压轴四档

1

来源数

50%

置信度

长期有效

时效性

2026/9/28

首次发现

来源

GPT-6 Sol屎山代码实测：能撼动Astra吗？

涉及实体

屎山基准concept

相关事实

待验证评估提取系统抗衰减能力应构造梯度难度测试集分别统计简单、中等、复杂文档的准确率曲线，而非只看整体平均值69% 相似待验证标准基准测试衡量的是单次工具调用的格式正确性，而真实的生产级Agent失败往往发生在多步序列之中66% 相似待验证作者从60多个问题中提炼出11条结构性规律，其中最值钱的三条是：测量失败不等于零进度、判断和证明必须分离、每条指令都必须可验证66% 相似待验证开发者常用的细节测试方法包括越狱鲁棒性测试、指令遵循一致性测试和歧义消解测试66% 相似待验证ARC-AGI包含400道训练题和400道测试题,每道题由2-3个输入输出示例和一个待解决的测试用例组成66% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/954923

API

curl https://kongchang.com/api/v1/knowledge/claims/954923

MCP

get_claim(id=954923)