概念encoder averaging
编码器平均
一种集成式模型升级方法,将多个编码器(不同预训练模型或随机种子)的预测概率取平均以降低方差,成本增加有限但提升幅度通常较小
时间轴 (近 90 天)
11月3日
编码器平均策略在 AspectBench 和 NewsMTSC 上有所帮助,但在 SentiCoref 上却有害。
待验证50%
11月3日
在开发集上选出的两种策略(编码器平均和选择性 LLM 辅助)都将 30% 的记录路由到编码器辅助的 LLM。
待验证50%
一种集成式模型升级方法,将多个编码器(不同预训练模型或随机种子)的预测概率取平均以降低方差,成本增加有限但提升幅度通常较小
编码器平均策略在 AspectBench 和 NewsMTSC 上有所帮助,但在 SentiCoref 上却有害。
在开发集上选出的两种策略(编码器平均和选择性 LLM 辅助)都将 30% 的记录路由到编码器辅助的 LLM。