代理指标
代理指标是指当真实目标难以直接度量时,用某种可观测的替代量来近似它。代理指标存在被系统性刷分或目标偏移的风险。
时间轴 (近 90 天)
研究中多个常用代理指标(如语言流畅度、指令复杂度)并没有表现出与训练效用的强相关性。
文章提出路由系统的真实目标应是成本、延迟与质量的联合优化,分类准确率只是代理指标。
下游伤害是指偏见在真实业务链路中造成的实际后果(如招聘系统拒掉某类姓名、信贷模型压低某群体额度),审计中的对称性评分只是与其相关的代理指标,不能推出整条链路对用户公平。
评价指标时应问:如果一个数字被优化到极端值,真实目标是否也同步改善?如果答案是否定的,那它至多是一个虚荣指标,用它来驱动代理必然导致目标偏移。
代理指标指在缺乏目标概念的真实标签时,用另一个可得且相关的量来近似衡量;将代理分数当作能力证明是欺诈检测研究中常见的误读陷阱。
七天沉默依然只是一个代理指标,因为彻底失望决定不再来电的客户同样会保持七天沉默,与真正成功解决无法区分
打字速度是衡量向AI传递信息带宽的代理指标(proxy),真正衡量的是表达带宽
代理指标的天然缺陷是:一旦针对指标本身进行优化,与真实变量的相关性就会减弱
全部知识事实 (8)
研究中多个常用代理指标(如语言流畅度、指令复杂度)并没有表现出与训练效用的强相关性。
50%待验证文章提出路由系统的真实目标应是成本、延迟与质量的联合优化,分类准确率只是代理指标。
50%待验证下游伤害是指偏见在真实业务链路中造成的实际后果(如招聘系统拒掉某类姓名、信贷模型压低某群体额度),审计中的对称性评分只是与其相关的代理指标,不能推出整条链路对用户公平。
50%待验证评价指标时应问:如果一个数字被优化到极端值,真实目标是否也同步改善?如果答案是否定的,那它至多是一个虚荣指标,用它来驱动代理必然导致目标偏移。
50%待验证代理指标指在缺乏目标概念的真实标签时,用另一个可得且相关的量来近似衡量;将代理分数当作能力证明是欺诈检测研究中常见的误读陷阱。
50%待验证七天沉默依然只是一个代理指标,因为彻底失望决定不再来电的客户同样会保持七天沉默,与真正成功解决无法区分
50%待验证打字速度是衡量向AI传递信息带宽的代理指标(proxy),真正衡量的是表达带宽
50%待验证代理指标的天然缺陷是:一旦针对指标本身进行优化,与真实变量的相关性就会减弱
50%