概念post-hoc compression
后置压缩
在模型或适配器训练完成后对其参数进行再次降秩或重构以减少存储的技术,但降秩结构可能因填充或通用内核而无法转化为实际加速。
时间轴 (近 90 天)
11月3日
后置压缩后,更小的秩并不自动带来更快的服务速度,因为填充、因子访问、通用内核等问题会掩盖保留下来的低秩结构。
待验证50%
在模型或适配器训练完成后对其参数进行再次降秩或重构以减少存储的技术,但降秩结构可能因填充或通用内核而无法转化为实际加速。
后置压缩后,更小的秩并不自动带来更快的服务速度,因为填充、因子访问、通用内核等问题会掩盖保留下来的低秩结构。