#推测解码

共 3 篇相关文章

SpecCompact框架通过槽位并行语义推测加速LLM智能体上下文压缩，在AppWorld和τ³基准上实现2.04-5.63倍加速，用户研究中位加速达8.68倍，并揭示模型与任务相关的性能权衡。

TextSeal2 是一种无失真 LLM 水印方案，通过 copula 密钥合并与无记忆性指数竞争，在推测解码下保持水印信号，相同多样性下检测率比 TextSeal 高出 8 到 22 个百分点，且不增加推理延迟。

DLite提出无历史推测解码框架，通过复用目标模型隐藏状态做局部预测，解决智能体负载下草稿模型接受率下降80%的问题，实验接受长度达2-6，超越DSpark最高70%。