剪枝
模型压缩技术之一，通过移除对输出贡献较小的权重或神经元得到稀疏模型，降低参数量和计算量。
核心事实
时间轴 (近 90 天)
剪枝（去除冗余参数）和知识蒸馏（用大模型指导小模型训练）是与量化配套的模型压缩技术，共同构成物理AI从云端训练到边缘推理的工程桥梁。
在严重剪枝下，模型可以生成多样化的思维链轨迹，但同时伴随重复增加和生成可靠性下降。
量化和剪枝结合可把模型体积缩小一到两个数量级，代价是生成质量下降。
剪枝移除对输出贡献小的权重或整个通道，产生稀疏结构以减少计算量。
模型加速旨在减少采样步数，典型方法包括DDIM和蒸馏方法。
轻量化关注降低参数量和计算量，典型方法包括剪枝和量化。
大模型轻量化技术包括模型蒸馏、量化（如INT8/INT4）、剪枝以及端侧推理框架优化等手段。
量化误差通常均匀分布在所有参数上，而剪枝的破坏性更集中于被移除的连接，因此两者对知识分布的影响模式不同。
量化优于剪枝这一平均结论的实际意义取决于应用所需的能力类型；若应用依赖剪枝受损更严重的能力，则平均结论无指导价值。
量化在能力保留上系统性地优于剪枝。
还有 13 条时间轴事件
全部知识事实 (20)
量化是一种模型压缩技术，将模型参数从高精度浮点数降低到更低位数的整数表示
65%已验证模型压缩涵盖量化、剪枝、知识蒸馏三条主要技术路径
65%待验证模型加速旨在减少采样步数，典型方法包括DDIM和蒸馏方法。
60%待验证剪枝（去除冗余参数）和知识蒸馏（用大模型指导小模型训练）是与量化配套的模型压缩技术，共同构成物理AI从云端训练到边缘推理的工程桥梁。
50%待验证在严重剪枝下，模型可以生成多样化的思维链轨迹，但同时伴随重复增加和生成可靠性下降。
50%待验证量化和剪枝结合可把模型体积缩小一到两个数量级，代价是生成质量下降。
50%待验证剪枝移除对输出贡献小的权重或整个通道，产生稀疏结构以减少计算量。
50%待验证轻量化关注降低参数量和计算量，典型方法包括剪枝和量化。
50%待验证大模型轻量化技术包括模型蒸馏、量化（如INT8/INT4）、剪枝以及端侧推理框架优化等手段。
50%待验证剪枝直接移除部分权重或神经元，改变网络的稀疏结构。
50%待验证量化在能力保留上系统性地优于剪枝。
50%待验证量化误差通常均匀分布在所有参数上，而剪枝的破坏性更集中于被移除的连接，因此两者对知识分布的影响模式不同。
50%待验证量化优于剪枝这一平均结论的实际意义取决于应用所需的能力类型；若应用依赖剪枝受损更严重的能力，则平均结论无指导价值。
50%待验证剪枝、量化和知识蒸馏属于模型侧压缩，改变的是部署后模型的参数表示，输入向量仍需以原始精度传输和存储。
50%待验证模型从云端推理迁移到本地运行通常需要经过量化、剪枝和蒸馏等压缩步骤。
50%待验证量化、剪枝和低秩分解是三种常见的模型压缩手段。
50%待验证蒸馏与量化、剪枝常被统称为模型压缩三件套，但蒸馏改变的是训练信号，而后两者直接压缩已有权重。
50%待验证剪枝通过移除对输出贡献较小的神经元或注意力头来压缩模型规模。
50%待验证剪枝通过移除对输出贡献较小的权重或神经元来精简网络结构。
50%待验证过去两年，模型量化、剪枝、知识蒸馏等技术让千亿参数模型可以在单张消费级显卡甚至手机上运行。
50%