概念dense reward
密集奖励
强化学习中的奖励设置,在每一步或每个里程碑都给出进展度量,能提供平滑学习梯度,但前提是必须存在对'进展'的客观定义
核心事实
时间轴 (近 90 天)
11月2日
密集奖励的设计难点在于定义既准确又可自动获取的中间信号,避免奖励被“刷分”利用。
待验证50%
10月14日
密集奖励能提供平滑的学习梯度,但前提是必须存在对'进展'的客观定义,否则每步反馈都是主观判断,不可复现且无法规模化。
待验证50%
10月14日
如果规格写得不够具体,密集奖励会自信但错误,并导致Agent直接优化到规格与现实之间的缝隙里。
待验证50%
9月12日
现实任务中的奖励往往极度稀疏且延迟,导致长时间跨度的信用分配问题使智能体难以判断哪一步动作导致最终结果
已验证75%