概念Pruning by Weights and Activations
Wanda
一种无需重新训练的后训练剪枝方法，通过综合权重幅度与输入激活值的统计信息判断可删除参数，在保持较高压缩率的同时维持较好整体性能，常用于大模型压缩研究
时间轴 (近 90 天)
10月27日
Wanda 是一种基于权重与激活幅度的稀疏化/重要性评分方法，通过 |权重| × ||激活|| 衡量参数重要性。
待验证50%
9月25日
对Whisper-large-v3施加50%的Wanda剪枝后，Fair-Speech数据集上黑人/非裔美国人群体与亚裔群体之间服务最差群体与最优群体的绝对词错误率差距扩大到原来的两倍以上
待验证50%
9月25日
假设每个转录错误需要5秒纠正成本，剪枝后每分钟语音纠正时间从30秒上升到64秒，为+111%的相对增长
待验证50%
9月25日
即便采用束搜索解码进行缓解，剪枝带来的群体时间税差距依然保留了+86%的增长
待验证50%
9月25日
Wanda是一种无需重新训练的后训练剪枝方法，通过综合权重幅度与输入激活值的统计信息判断哪些参数可置零删除
待验证50%
全部知识事实 (5)
待验证
Wanda 是一种基于权重与激活幅度的稀疏化/重要性评分方法，通过 |权重| × ||激活|| 衡量参数重要性。
50%待验证对Whisper-large-v3施加50%的Wanda剪枝后，Fair-Speech数据集上黑人/非裔美国人群体与亚裔群体之间服务最差群体与最优群体的绝对词错误率差距扩大到原来的两倍以上
50%待验证假设每个转录错误需要5秒纠正成本，剪枝后每分钟语音纠正时间从30秒上升到64秒，为+111%的相对增长
50%待验证即便采用束搜索解码进行缓解，剪枝带来的群体时间税差距依然保留了+86%的增长
50%待验证Wanda是一种无需重新训练的后训练剪枝方法，通过综合权重幅度与输入激活值的统计信息判断哪些参数可置零删除
50%