LARC
一种面向统一多模态模型的连续空间隐式推理框架,在高维隐藏状态而非离散token空间进行推理,以缓解模态错配问题,提升图像生成质量与测试时缩放能力
时间轴 (近 90 天)
LARC(Latent Reasoning in Continuous space)是一个连续空间隐式推理框架,通过在高维隐藏状态上进行推理来缓解token级别的瓶颈。
LARC的训练流程分为两个阶段:课程监督微调(curriculum SFT)与信息增益强化学习(information-gain RL)。
课程SFT通过逐步将token级推理转换为隐式推理,提供从离散到连续的平滑过渡,避免模型直接跳入隐空间导致训练不稳定。
信息增益RL以推理过程带来的信息增量作为奖励信号,使模型能在缺乏配对监督的图像生成任务上进行自我改进。
在多个文生图基准上,LARC一致提升了生成质量、提示词跟随和组合保真度。
在GenEval基准上,LARC相比BAGEL取得了7个百分点的提升,达到当前最优性能。
LARC在并行与串行两种测试时缩放策略下均优于基于token的生成方法,展现出清晰的测试时缩放行为。
LARC在GenEval上的提升说明连续隐式推理带来的收益主要体现在组合保真度这类需要精确语义对齐的维度上,而不仅是整体图像美观度。
LARC仍处于研究阶段,其思路对统一多模态模型的推理增强具有普遍参考价值。
未来工作或可探索更复杂的隐式推理结构,以及将LARC扩展到视频、3D等更多连续模态生成任务中。
全部知识事实 (10)
LARC(Latent Reasoning in Continuous space)是一个连续空间隐式推理框架,通过在高维隐藏状态上进行推理来缓解token级别的瓶颈。
50%待验证LARC的训练流程分为两个阶段:课程监督微调(curriculum SFT)与信息增益强化学习(information-gain RL)。
50%待验证课程SFT通过逐步将token级推理转换为隐式推理,提供从离散到连续的平滑过渡,避免模型直接跳入隐空间导致训练不稳定。
50%待验证信息增益RL以推理过程带来的信息增量作为奖励信号,使模型能在缺乏配对监督的图像生成任务上进行自我改进。
50%待验证在多个文生图基准上,LARC一致提升了生成质量、提示词跟随和组合保真度。
50%待验证在GenEval基准上,LARC相比BAGEL取得了7个百分点的提升,达到当前最优性能。
50%待验证LARC在并行与串行两种测试时缩放策略下均优于基于token的生成方法,展现出清晰的测试时缩放行为。
50%待验证LARC在GenEval上的提升说明连续隐式推理带来的收益主要体现在组合保真度这类需要精确语义对齐的维度上,而不仅是整体图像美观度。
50%待验证LARC仍处于研究阶段,其思路对统一多模态模型的推理增强具有普遍参考价值。
50%待验证未来工作或可探索更复杂的隐式推理结构,以及将LARC扩展到视频、3D等更多连续模态生成任务中。
50%