[控场AI]
概念Feature-wise Linear Modulation / 特征线性调制

FiLM

一种条件调制机制,由Perez等人于2018年提出,核心思想是用条件信号(如文本)生成缩放参数γ和偏移参数β,对目标特征图进行逐通道仿射变换(FiLM(x) = γ·x + β),最初用于视觉问答任务

时间轴 (近 90 天)

10月21日

HypTI设计自适应融合模块,为每个受试者生成专属的scale和shift系数,动态调制并整合多模态嵌入,机制与FiLM思想相近。

待验证50%
10月21日

在双曲空间中进行条件化特征调制需在切空间或通过指数/对数映射进行以保持几何结构。

待验证50%
10月16日

消融实验显示FiLM几乎承担了全部有效工作,SelfAttention和MemoryCrossAttention在训练好的模型中贡献接近零。

待验证50%
10月16日

网络结构上CNN处理21x21的局部观察窗口,LSTM跨步骤携带记忆,CNN之上叠加SelfAttention、MemoryCrossAttention和FiLM三个注意力模块。

待验证50%
10月16日

FiLM是一种条件归一化技术,用辅助网络根据上下文生成缩放系数γ和偏移系数β,对主特征图每个通道做仿射变换:输出 = γ · 特征 + β。

待验证50%
10月10日

学生模型是一个140万参数的U-Net,配备FiLM滑块用于推理时动态控制天气强度,工作分辨率512×288,单帧推理约26毫秒

待验证50%
9月18日

FiLM由Perez等人于2018年提出,最初用于视觉问答任务,其核心是用条件信号生成缩放参数γ和偏移参数β对特征进行逐通道仿射变换

待验证50%
9月18日

MDT采用基于FiLM(Feature-wise Linear Modulation)的文本条件调制机制,让文本信号调制面部与语音特征

待验证50%

全部知识事实 (8)

来源文章