待验证50% 置信概念精确时间
Kendall's tau 衡量两个排名之间的一致性，取值从 -1 到 1；样本量小时抽样波动很大，九个模型（36 对）时 tau=0.61 的标准误约为 0.12，95% 置信区间大致为 0.37 到 0.85；tau 只反映整体单调关联，对局部换位不敏感。
1
来源数
50%
置信度
长期有效
时效性
2026/10/19
首次发现
来源
开源大模型榜首之争：两榜单数据深度审计
rss2026/10/19
涉及实体
相关事实
待验证在10000条样本、1%正类比例且负类中有495条得分0.90、正类得分分别为0.80和0.60的合成数据上，使用0.5阈值计算得到：ROC-AUC=0.9500，Average Precision=0.1449，精确率=0.1681，召回率=1.0000，准确率=0.9505，TP=100，FP=495，TN=9405，FN=0。64% 相似待验证在固定算力预算下，最优重复次数N* = sqrt(a * sigma^2 / (b * tau^2))，其中sigma^2为单题目方差，tau^2为单重复（重采样）方差，a和b为成本系数。64% 相似待验证随着模型从8B扩展到70B，固定输出向量的相似度对行为的预测能力反而变差，配对均值相关性变化为-0.080（95%置信区间[-0.127, -0.035]）62% 相似待验证将 BenchLM 开源前十行与 Artificial Analysis 按模型名称匹配，九个模型成功对应（dots3-note Preview 在后者数据中缺失），对这九个模型分别排名后，Kendall's tau 为 0.61，一致对 29 个，不一致对 7 个。61% 相似待验证对于 7B 模型，使用求解器准确率为 75.31%，直接计算为 72.02%，配对提升 +3.29 个百分点，95% 聚类区间为 [-3.49, 10.38] 跨越零点，优势不显著61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1069261API
curl https://kongchang.com/api/v1/knowledge/claims/1069261MCP
get_claim(id=1069261)