重要性采样
统计学中的采样技术,核心为测度变换,通过引入辅助提议分布在目标稀有区域更频繁采样,再用似然比重加权,实现对低概率事件的无偏估算
时间轴 (近 90 天)
新样本的抽取被引导向当前决策下的最坏情况,并通过重要性权重校正回模型分布。
重要性采样优化思路可将算法实际复杂度从O(N)压缩到O(k),其中k远小于N
从归一化流中进行重要性采样(IS)恰好是该控制变量构造的极限情形,当隐空间采样器退化为独立同分布采样时控制变量方法收敛至重要性采样形式
重要性采样(IS)从易于采样的提议分布q中抽取样本,再用权重w(x)=π(x)/q(x)修正偏差来估计目标分布π下的期望
在PPO和GRPO算法中,重要性采样校正权重正比于新旧策略概率之比exp(logprob_new - logprob_old),由于指数函数放大,0.001的logprob偏差会产生可观的权重误差
RAPID采用逆提议校正技术保证损失函数和梯度估计器在条件期望下无偏
全部知识事实 (7)
新样本的抽取被引导向当前决策下的最坏情况,并通过重要性权重校正回模型分布。
50%待验证重要性采样优化思路可将算法实际复杂度从O(N)压缩到O(k),其中k远小于N
50%待验证从归一化流中进行重要性采样(IS)恰好是该控制变量构造的极限情形,当隐空间采样器退化为独立同分布采样时控制变量方法收敛至重要性采样形式
50%待验证重要性采样(IS)从易于采样的提议分布q中抽取样本,再用权重w(x)=π(x)/q(x)修正偏差来估计目标分布π下的期望
50%待验证在PPO和GRPO算法中,重要性采样校正权重正比于新旧策略概率之比exp(logprob_new - logprob_old),由于指数函数放大,0.001的logprob偏差会产生可观的权重误差
50%待验证RAPID采用逆提议校正技术保证损失函数和梯度估计器在条件期望下无偏
50%待验证重要性采样的数学核心是测度变换,通过引入提议分布q并用似然比w=p(x)/q(x)对样本重加权,无偏地估算原始概率
50%