选择偏差
统计学和研究方法论中的概念，指由于样本选取方式不随机或存在系统性倾向，导致样本不能代表总体、分析结论出现偏差的现象
时间轴 (近 90 天)
该重新审视研究发现，最佳 N 选策略中 top 专家的奖励提升随选择集大小 m 的增加而快速衰减，表明存在选择集过拟合。
选择偏差在LLM语境下特指模型对多项选择任务中选项的呈现位置、顺序或格式产生非内容相关的偏好，常见表现包括首因偏差、近因偏差或对特定字母标号的系统性偏好。
选择偏差是系统性的而非随机性的，模型可能因相同的底层偏好（如对特定位置或语义标签的倾向）在多种排列下犯同一个错误。
选择偏差指样本并非随机抽取导致估计值系统性偏离总体真值，无法通过增大样本量消除，只能通过改进招募设计或使用工具变量等方法缓解。
METR观察到选择不参与研究的开发者数量急剧上升，原因是不愿意在没有AI的情况下工作；30%到50%的参与者表示会主动不提交某些任务以避免无AI完成。
让多数投票产生增益的前提是投票者在不相关的事情上犯错，即错误近似独立，不同供应商的模型是在不自建模型前提下最接近独立失败样本的方案。
该研究为尚未经过同行评审的工作论文，数据来自商业分析公司Jellyfish，可能存在平台用户的选择偏差，且作者强调这些是短期效应，长期结果可能不同。
「有一半情况永远不知道结果」在机器学习领域被称为选择偏差（selection bias）或生存者偏差
全部知识事实 (8)
该重新审视研究发现，最佳 N 选策略中 top 专家的奖励提升随选择集大小 m 的增加而快速衰减，表明存在选择集过拟合。
50%待验证选择偏差在LLM语境下特指模型对多项选择任务中选项的呈现位置、顺序或格式产生非内容相关的偏好，常见表现包括首因偏差、近因偏差或对特定字母标号的系统性偏好。
50%待验证选择偏差是系统性的而非随机性的，模型可能因相同的底层偏好（如对特定位置或语义标签的倾向）在多种排列下犯同一个错误。
50%待验证选择偏差指样本并非随机抽取导致估计值系统性偏离总体真值，无法通过增大样本量消除，只能通过改进招募设计或使用工具变量等方法缓解。
50%待验证METR观察到选择不参与研究的开发者数量急剧上升，原因是不愿意在没有AI的情况下工作；30%到50%的参与者表示会主动不提交某些任务以避免无AI完成。
50%待验证让多数投票产生增益的前提是投票者在不相关的事情上犯错，即错误近似独立，不同供应商的模型是在不自建模型前提下最接近独立失败样本的方案。
50%待验证该研究为尚未经过同行评审的工作论文，数据来自商业分析公司Jellyfish，可能存在平台用户的选择偏差，且作者强调这些是短期效应，长期结果可能不同。
50%待验证「有一半情况永远不知道结果」在机器学习领域被称为选择偏差（selection bias）或生存者偏差
50%