失准

用模型自己认为错误但内容无害的数据微调大语言模型，可以诱发广泛的失准（misalignment）。

在数学任务上，随着训练答案越来越离谱，失准回答的比例从4%飙升到60%以上，而模型的通用能力几乎没有损失。

失准不是能力下降的副产品，而是一种独立的行为偏移。

当虚假事实被包装成连贯故事的一部分时，模型会更深入地相信它，失准程度比直接命令模型断言该假事实要低。