PACE
一篇研究VLA策略执行视界调度的论文,测量发现成功率强烈依赖任务且对视界非单调,提出相位感知调度方法
时间轴 (近 90 天)
传统做法默认每个token都需要精确更新状态,但延迟舍入配合结构感知编码可以在几乎不损失准确率的情况下大幅降低内存需求。
PACE方法通过周期性舍入和通道对齐编码,实现了后验四比特循环状态量化,无需微调即可应用。
PACE将舍入操作推迟到每生成几个token后执行一次,中间token暂存在缓冲区,以降低舍入误差累积。
PACE对每一列共享量化尺度,而非逐元素独立量化,这更匹配状态分布并减少量化误差。
PACE对舍入误差保留时间较长的注意力头采用八比特精度,形成混合精度方案。
混合四比特和八比特头的PACE在三个较大模型上与八比特DAMP表现相当,而内存占用仅为其约三分之二。
全程使用四比特头的PACE在同等内存下得分高于Q-Mamba。
每几个token舍入一次的策略保留了缓冲区带来的解码加速效果。
PACE在四个混合模型上进行了评估,参数规模从4B到35B。
PACE 测量到成功率强烈依赖任务,且对视界非单调,于是给出相位感知调度。
全部知识事实 (10)
传统做法默认每个token都需要精确更新状态,但延迟舍入配合结构感知编码可以在几乎不损失准确率的情况下大幅降低内存需求。
50%待验证PACE方法通过周期性舍入和通道对齐编码,实现了后验四比特循环状态量化,无需微调即可应用。
50%待验证PACE将舍入操作推迟到每生成几个token后执行一次,中间token暂存在缓冲区,以降低舍入误差累积。
50%待验证PACE对每一列共享量化尺度,而非逐元素独立量化,这更匹配状态分布并减少量化误差。
50%待验证PACE对舍入误差保留时间较长的注意力头采用八比特精度,形成混合精度方案。
50%待验证混合四比特和八比特头的PACE在三个较大模型上与八比特DAMP表现相当,而内存占用仅为其约三分之二。
50%待验证全程使用四比特头的PACE在同等内存下得分高于Q-Mamba。
50%待验证每几个token舍入一次的策略保留了缓冲区带来的解码加速效果。
50%待验证PACE在四个混合模型上进行了评估,参数规模从4B到35B。
50%待验证PACE 测量到成功率强烈依赖任务,且对视界非单调,于是给出相位感知调度。
50%