RLHF评估员往往更偏好自然、友好、有温度的表达，使模型学会用第一人称叙事获得更高评分，拟人化是被奖励出来的涌现性语言行为