Brier分数
衡量概率预测质量的评估指标，计算预测概率与实际二元结果之间的均方误差，分数越低表示预测越准确，常用于评估预测模型的校准度
核心事实
时间轴 (近 90 天)
缺陷概率校准方法在15个模型-应用配置中有13个配置的Brier分数得到降低。
Brier技能分数计算公式为1 - BS_model/BS_ref，大于0表示模型优于参考，等于0表示无改进，小于0表示不如参考。
Brier分数可分解为可靠性（校准）、分辨率（区分度）和不确定性三部分，有助于定位问题来源。
Brier分数是预测概率与真实结果之间平方误差的均值，取值越低越好，同时惩罚方向错误和过度自信。
Calibration Court的核心机制是在结果揭晓前将每条AI预测写入哈希链账本，并用Brier分数、对数损失和校准曲线进行评分。
系统提供的校准工具链包括期望校准误差（ECE）、Brier分数和温度缩放三种方法。
模型校准指的是模型输出概率与其实际正确率相匹配的程度；一个校准良好的模型，若对某类问题给出的概率是0.8，则这类问题大约有80%确实答对。
在预测市场中，置信度通常表示模型对某一二元或多元结果分配的主观概率，可用Brier分数等指标事后校准；在LLM驱动的系统中，它往往由模型自评或对多次采样的logits取均值得到，可靠性远低于统计模型。
该基准测试使用确定性检查器（deterministic checker）评分，答案要么对要么错，不使用大模型当裁判
建议对多选题和数值题在一次调用中索要全部选项或整条CDF再归一化，对其他情况可事后将答案投影到自洽概率集合上，该投影不会让Brier分数变差
还有 5 条时间轴事件
全部知识事实 (17)
常用的校准评估指标包括期望校准误差（ECE）和可靠性图（Reliability Diagram）
75%已验证Brier评分通过计算预测概率与实际结果之差的平方来评估校准质量，分数越低代表预测越准确
75%已验证该基准测试使用确定性检查器（deterministic checker）评分，答案要么对要么错，不使用大模型当裁判
65%部分验证模型校准指的是模型输出概率与其实际正确率相匹配的程度；一个校准良好的模型，若对某类问题给出的概率是0.8，则这类问题大约有80%确实答对。
75%待验证缺陷概率校准方法在15个模型-应用配置中有13个配置的Brier分数得到降低。
50%待验证Brier技能分数计算公式为1 - BS_model/BS_ref，大于0表示模型优于参考，等于0表示无改进，小于0表示不如参考。
50%待验证Brier分数可分解为可靠性（校准）、分辨率（区分度）和不确定性三部分，有助于定位问题来源。
50%待验证Brier分数是预测概率与真实结果之间平方误差的均值，取值越低越好，同时惩罚方向错误和过度自信。
50%待验证Calibration Court的核心机制是在结果揭晓前将每条AI预测写入哈希链账本，并用Brier分数、对数损失和校准曲线进行评分。
50%待验证系统提供的校准工具链包括期望校准误差（ECE）、Brier分数和温度缩放三种方法。
50%待验证在预测市场中，置信度通常表示模型对某一二元或多元结果分配的主观概率，可用Brier分数等指标事后校准；在LLM驱动的系统中，它往往由模型自评或对多次采样的logits取均值得到，可靠性远低于统计模型。
50%待验证建议对多选题和数值题在一次调用中索要全部选项或整条CDF再归一化，对其他情况可事后将答案投影到自洽概率集合上，该投影不会让Brier分数变差
50%待验证在留出预测任务中，IRT在所评估的五种方法中取得了最佳的Brier分数
50%待验证Brier 分数公式为 BS = (1/N)Σ(f_i - o_i)^2，衡量预测概率与实际结果的均方误差，分数越低越准确，完美预测为 0
50%待验证滚动自适应规则会从此前已揭晓答案的历史批次中不断重新拟合阈值，在跨越16个后续LLM版本的测试中取得所有确定性系统里最优的平均Brier分数
50%待验证严格适当评分规则是指一类当且仅当预测者报告其真实主观概率时才能期望获得最高得分的评分函数，常见例子包括对数评分和Brier Score
50%待验证严格正确评分规则的核心性质是当且仅当预测者报告真实相信的概率时期望得分最大，常见例子包括对数似然损失和Brier分数
50%