待验证50% 置信事实精确时间

RLHF训练中会加入KL散度惩罚项，防止模型偏离SFT阶段学到的基础行为太远

1

来源数

50%

置信度

长期有效

时效性

2026/8/21

首次发现

来源

强化学习如何制造AI的"分裂人格"？RLHF对齐的深层缺陷

相关事实

待验证RLHF和DPO等对齐技术的效果高度依赖预训练基础质量，预训练阶段未习得的能力几乎无法通过后续对齐补救72% 相似已验证当代前沿模型的训练方法包括RLHF（基于人类反馈的强化学习）及其后继者RLAIF和过程奖励模型（PRM）71% 相似待验证RLHF中非专业标注者更青睐流畅平和的摘要，可能训练模型系统性忽视小概率高风险信息70% 相似待验证强化学习训练比监督学习更不稳定，将NVFP4激进量化引入RL训练会进一步放大固有不稳定性70% 相似待验证当前主流LLM普遍采用预训练加微调范式，先在互联网规模语料上无监督预训练，再通过RLHF等技术对齐人类偏好69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/784174

API

curl https://kongchang.com/api/v1/knowledge/claims/784174

MCP

get_claim(id=784174)