模型压缩
在保持模型性能的前提下缩减神经网络规模的技术集合，主要包括权重剪枝、数值量化和知识蒸馏等方法，用于实现模型在资源受限设备上的高效部署
核心事实
时间轴 (近 90 天)
Token 效率优化更多发生在服务层和调用链路层，不改变模型权重本身，因此可以在不牺牲模型能力的前提下降低成本；这与模型压缩（量化、蒸馏、剪枝）不同。
粗糙的、局部的、表层的能力信号在压缩后往往能够保留下来；而细粒度的、长尾的、依赖上下文的能力则变得脆弱。
实验核心结论：压缩不是均匀地削弱模型，而是重新分配能力画像。
压缩对模型内部知识分布的影响是非均匀的：某些能力几乎无损，另一些可能大幅退化，而平均分可能只显示小幅波动。
模型压缩的代价是复杂推理、长上下文理解和多语言泛化能力下降。
模型从云端推理迁移到本地运行通常需要经过量化、剪枝和蒸馏等压缩步骤。
模型压缩与蒸馏技术的进步使得原本需要服务器级算力的大模型可被压缩到几MB甚至更小。
对于依赖蒸馏进行模型压缩或加速的团队，除了任务性能外，还需要检测学生模型的行为偏移。
若模型能以压缩副本形式在边缘设备间自行传播，管制对象将从可见的货物变为无形的权重流，现有清单和许可制度难以追踪。
剪枝与量化结合使用，可使原本需要数十GB显存的大模型压缩到几GB甚至几百MB，使其能在边缘设备上运行。
还有 6 条时间轴事件
全部知识事实 (19)
量化、知识蒸馏、算子融合等压缩技术叠加使用后，推理速度通常能提升2-4倍
65%已验证端侧AI模型压缩的关键技术包括量化、知识蒸馏和剪枝
65%已验证模型压缩涵盖量化、剪枝、知识蒸馏三条主要技术路径
65%已验证语义缓存、小模型路由、Prompt压缩等技术可以显著降低AI Agent的运营成本
65%待验证推测解码、模型蒸馏、KV Cache优化等推理优化技术的持续进步正在使单位推理成本快速下降
85%待验证Token 效率优化更多发生在服务层和调用链路层，不改变模型权重本身，因此可以在不牺牲模型能力的前提下降低成本；这与模型压缩（量化、蒸馏、剪枝）不同。
50%待验证压缩对模型内部知识分布的影响是非均匀的：某些能力几乎无损，另一些可能大幅退化，而平均分可能只显示小幅波动。
50%待验证粗糙的、局部的、表层的能力信号在压缩后往往能够保留下来；而细粒度的、长尾的、依赖上下文的能力则变得脆弱。
50%待验证实验核心结论：压缩不是均匀地削弱模型，而是重新分配能力画像。
50%待验证模型压缩的代价是复杂推理、长上下文理解和多语言泛化能力下降。
50%待验证模型从云端推理迁移到本地运行通常需要经过量化、剪枝和蒸馏等压缩步骤。
50%待验证模型压缩与蒸馏技术的进步使得原本需要服务器级算力的大模型可被压缩到几MB甚至更小。
50%待验证对于依赖蒸馏进行模型压缩或加速的团队，除了任务性能外，还需要检测学生模型的行为偏移。
50%待验证剪枝与量化结合使用，可使原本需要数十GB显存的大模型压缩到几GB甚至几百MB，使其能在边缘设备上运行。
50%待验证在专业领域、低资源、部署成本敏感的三重约束下，联合优化的压缩技术比单一技术更能兼顾效率与性能
50%待验证体积变小不必然意味着推理更快，如果解压或反量化的开销过大，实际吞吐量可能并不理想
50%待验证模型压缩技术组合使用可将模型大小压缩5-10倍,推理速度提升2-4倍
50%待验证若模型能以压缩副本形式在边缘设备间自行传播，管制对象将从可见的货物变为无形的权重流，现有清单和许可制度难以追踪。
50%待验证该研究可能通过模型压缩、知识蒸馏或利用网络空闲计算资源等路径实现无数据中心自我复制。
50%