Constitutional AI 在 RLHF 基础上引入一组书面原则（“宪法”），让模型依据这些原则进行自我批评和修正，减少对人工标注的依赖。