概念multi-prompt aggregation
多提示聚合
借鉴集成学习降低方差的思路,对同一评估任务构造多个语义等价但措辞不同的提示分别获取评审判决,再通过投票、平均或一致性加权合并以提升鲁棒性的策略
时间轴 (近 90 天)
10月30日
通过多提示聚合(multi-prompt aggregation),强调那些在提示变体间保持一致的判断,可以显著提升LLMaJ评估的鲁棒性。
待验证50%
10月30日
多提示聚合借鉴了集成学习降低方差的思路:对同一评估任务构造多个语义等价但措辞不同的提示,分别获取评审判决,再通过投票、平均或一致性加权进行合并。
待验证50%
10月30日
多提示聚合与自一致性(self-consistency)采样有相似之处,但区别在于变化维度是提示而非解码随机性。
待验证50%
10月30日
多提示聚合的代价是评审调用次数成倍增加,因此实践中需在鲁棒性收益与推理成本之间权衡,例如仅对排名接近的模型对启用多提示聚合。
待验证50%