Self-Refine
一种免训练的自反思方法,通过生成→批判→修正循环迭代改进模型输出,不更新模型参数。
核心事实
时间轴 (近 90 天)
免训练自反思协议指不更新模型参数、仅在推理阶段通过提示或流程设计让模型自我检查与修正的方法,典型代表是“生成→批判→修正”循环(如 Self-Refine)。
现有的免训练自反思协议(生成→批判→修正)操作在扁平的令牌流上,修正无法定位具体哪一步不可靠,早停也无法利用结构收敛信号。
类似生成-验证-再生成的思路也见于Self-Refine、Reflexion等学术方法中。
自我修正领域涌现了CRITIC、Self-Refine、Reflexion等方法,CriticGen可视为这一技术脉络的最新进展
Self-Refine的核心机制是让大语言模型对自己的初始输出进行批评性评价,然后根据评价反馈生成改进版本,循环直到满足要求或达到迭代上限,整个过程仅依赖单一模型的推理能力,无需外部奖励模型或人类反馈
Self-Refine是由卡内基梅隆大学等机构在2023年提出的一种无需额外训练的迭代自我优化框架
Ornith-1.5探索的方向与学术界提出的Self-Refine、Reflexion等自我反思框架相呼应
自我反思通过让模型评估自身输出质量并迭代改进来实现,Reflexion框架展示了Agent可以从失败尝试中学习并在下一轮迭代中调整策略
全部知识事实 (10)
Reflexion或Self-Refine机制由Shinn等人在2023年的论文中系统化提出
65%待验证多角色流水线(Self-Refine)的输出质量通常比单次LLM调用提升15%-30%
60%待验证免训练自反思协议指不更新模型参数、仅在推理阶段通过提示或流程设计让模型自我检查与修正的方法,典型代表是“生成→批判→修正”循环(如 Self-Refine)。
50%待验证现有的免训练自反思协议(生成→批判→修正)操作在扁平的令牌流上,修正无法定位具体哪一步不可靠,早停也无法利用结构收敛信号。
50%待验证类似生成-验证-再生成的思路也见于Self-Refine、Reflexion等学术方法中。
50%待验证自我修正领域涌现了CRITIC、Self-Refine、Reflexion等方法,CriticGen可视为这一技术脉络的最新进展
50%待验证Self-Refine是由卡内基梅隆大学等机构在2023年提出的一种无需额外训练的迭代自我优化框架
50%待验证Self-Refine的核心机制是让大语言模型对自己的初始输出进行批评性评价,然后根据评价反馈生成改进版本,循环直到满足要求或达到迭代上限,整个过程仅依赖单一模型的推理能力,无需外部奖励模型或人类反馈
50%待验证Ornith-1.5探索的方向与学术界提出的Self-Refine、Reflexion等自我反思框架相呼应
50%待验证自我反思通过让模型评估自身输出质量并迭代改进来实现,Reflexion框架展示了Agent可以从失败尝试中学习并在下一轮迭代中调整策略
50%