[控场AI]
产品

Guidance

微软开源的LLM约束生成库,通过控制解码过程实现对模型输出的结构化约束,支持将程序逻辑与生成过程深度融合

时间轴 (近 90 天)

10月17日

主流推理框架vLLM、Outlines、Guidance均支持约束解码,其底层通常借助有限状态机或下推自动机动态计算合法token集合。

待验证50%
10月15日

Constrained Decoding在主流LLM工程语境中,指在推理时通过logits掩码强制模型只能输出符合特定语法或schema的token序列,代表工具有Outlines、XGrammar、Guidance等。

待验证50%
10月9日

Outlines、Guidance、LMQL 等开源框架已实现约束式输出/受限解码机制

待验证50%
9月30日

Token修复(Token Healing)是由微软Guidance框架引入的概念

待验证50%
9月20日

Outlines、Guidance、LMQL是解码阶段硬约束方向的代表性实现库

待验证50%
9月9日

Outlines、Guidance等受限解码(constrained decoding)工具允许在推理时强制模型输出符合特定语法或Schema的文本,但可能以牺牲少量生成质量为代价

待验证50%
8月24日

约束解码技术生态包括OpenAI的JSON Mode、Outlines库、LMQL、Microsoft的Guidance库、SGLang和Instructor等工具

待验证50%

全部知识事实 (9)

来源文章