Guidance
微软开源的LLM约束生成库,通过控制解码过程实现对模型输出的结构化约束,支持将程序逻辑与生成过程深度融合
时间轴 (近 90 天)
主流推理框架vLLM、Outlines、Guidance均支持约束解码,其底层通常借助有限状态机或下推自动机动态计算合法token集合。
Constrained Decoding在主流LLM工程语境中,指在推理时通过logits掩码强制模型只能输出符合特定语法或schema的token序列,代表工具有Outlines、XGrammar、Guidance等。
Outlines、Guidance、LMQL 等开源框架已实现约束式输出/受限解码机制
Token修复(Token Healing)是由微软Guidance框架引入的概念
Outlines、Guidance、LMQL是解码阶段硬约束方向的代表性实现库
Outlines、Guidance等受限解码(constrained decoding)工具允许在推理时强制模型输出符合特定语法或Schema的文本,但可能以牺牲少量生成质量为代价
约束解码技术生态包括OpenAI的JSON Mode、Outlines库、LMQL、Microsoft的Guidance库、SGLang和Instructor等工具
全部知识事实 (9)
Microsoft的Guidance库通过模板语法约束模型输出结构
85%待验证业界已有成熟的约束解码实现,包括微软的Guidance库和Outlines项目
85%待验证主流推理框架vLLM、Outlines、Guidance均支持约束解码,其底层通常借助有限状态机或下推自动机动态计算合法token集合。
50%待验证Constrained Decoding在主流LLM工程语境中,指在推理时通过logits掩码强制模型只能输出符合特定语法或schema的token序列,代表工具有Outlines、XGrammar、Guidance等。
50%待验证Outlines、Guidance、LMQL 等开源框架已实现约束式输出/受限解码机制
50%待验证Token修复(Token Healing)是由微软Guidance框架引入的概念
50%待验证Outlines、Guidance、LMQL是解码阶段硬约束方向的代表性实现库
50%待验证Outlines、Guidance等受限解码(constrained decoding)工具允许在推理时强制模型输出符合特定语法或Schema的文本,但可能以牺牲少量生成质量为代价
50%待验证约束解码技术生态包括OpenAI的JSON Mode、Outlines库、LMQL、Microsoft的Guidance库、SGLang和Instructor等工具
50%