模型
LLMLingua
微软研究院提出的基于小型语言模型的Prompt压缩方法，通过辅助模型对token进行重要性打分并选择性删除，以降低大模型推理成本
时间轴 (近 90 天)
9月5日
LLMLingua通过语言模型识别并删除不重要的Token，可以在保持95%任务性能的情况下压缩50%的上下文长度
待验证50%
8月29日
LLMLingua等基于学习的上下文压缩框架能在保留语义的前提下将提示长度压缩至原来的五分之一甚至更少
待验证50%
微软研究院提出的基于小型语言模型的Prompt压缩方法，通过辅助模型对token进行重要性打分并选择性删除，以降低大模型推理成本
LLMLingua通过语言模型识别并删除不重要的Token，可以在保持95%任务性能的情况下压缩50%的上下文长度
LLMLingua等基于学习的上下文压缩框架能在保留语义的前提下将提示长度压缩至原来的五分之一甚至更少