可变形卷积
一种卷积神经网络操作,通过在标准卷积采样点上学习二维偏移量,使卷积核能自适应聚焦不规则几何结构,需双线性插值实现非整数坐标采样。
时间轴 (近 90 天)
可变形卷积中的双线性插值和动态偏移预测对量化较为敏感,低比特量化可能放大插值误差。
高通Hexagon NPU(以及此前的DSP)对算子的支持相对有限,主要优化了常规卷积、池化、激活等静态图算子;对于可变形卷积、网格采样(grid_sample)等动态算子,通常需要回退到CPU或GPU执行,或由开发者手动实现近似版本。
移动GPU(如Adreno系列)对可变形卷积的支持稍好一些,因为GPU的着色器程序可以灵活实现插值和动态索引。
BiRefNet架构中大量使用了可变形卷积(deformable convolutions)。
可变形卷积中偏移量由额外的卷积层从输入特征图预测得到,采样位置变为非整数坐标,需要通过双线性插值从特征图上取得对应位置的数值。
可变形卷积引入了数据依赖的动态索引与插值运算,破坏了标准卷积的静态计算图特性;对于依赖固定算子映射和静态调度编译的移动端推理框架而言,这类动态算子往往无法被有效图化或硬件加速。
可变形卷积由微软亚洲研究院的戴继峰等人在2017年ICCV会议上首次提出(DCNv1),并在2019年发布改进版DCNv2
可变形卷积由微软亚洲研究院在2017年提出,通过为卷积核每个采样位置学习偏移量来自适应关注不规则形状目标区域
全部知识事实 (8)
可变形卷积中的双线性插值和动态偏移预测对量化较为敏感,低比特量化可能放大插值误差。
50%待验证高通Hexagon NPU(以及此前的DSP)对算子的支持相对有限,主要优化了常规卷积、池化、激活等静态图算子;对于可变形卷积、网格采样(grid_sample)等动态算子,通常需要回退到CPU或GPU执行,或由开发者手动实现近似版本。
50%待验证移动GPU(如Adreno系列)对可变形卷积的支持稍好一些,因为GPU的着色器程序可以灵活实现插值和动态索引。
50%待验证BiRefNet架构中大量使用了可变形卷积(deformable convolutions)。
50%待验证可变形卷积中偏移量由额外的卷积层从输入特征图预测得到,采样位置变为非整数坐标,需要通过双线性插值从特征图上取得对应位置的数值。
50%待验证可变形卷积引入了数据依赖的动态索引与插值运算,破坏了标准卷积的静态计算图特性;对于依赖固定算子映射和静态调度编译的移动端推理框架而言,这类动态算子往往无法被有效图化或硬件加速。
50%待验证可变形卷积由微软亚洲研究院的戴继峰等人在2017年ICCV会议上首次提出(DCNv1),并在2019年发布改进版DCNv2
50%待验证可变形卷积由微软亚洲研究院在2017年提出,通过为卷积核每个采样位置学习偏移量来自适应关注不规则形状目标区域
50%