能量模型
一类为输入空间中每个配置分配标量能量值的机器学习模型,低能量对应高兼容性输入组合,由Yann LeCun长期倡导,用于世界状态约束建模
时间轴 (近 90 天)
Stein恒等式构建了一个不依赖于归一化常数的期望表达式,即使归一化常数Z未知,得分函数依然可以计算,这使得Stein方法适用于需要对未归一化分布进行推断的场景(如贝叶斯后验、能量模型)。
2006 年前后 LeCun 等人系统梳理了能量模型(EBM)框架
将向量间交互建模为吸引/排斥力的计算复杂度通常随候选集规模平方增长
能量模型(EBM)训练便宜但采样昂贵,因为每次采样都需运行完整的MCMC链,没有摊销采样成本
Mattick 认为能量模型不再真的有用,若要做生成扩散模型或流匹配更好,若要做自监督学习能量模型过于宽泛缺乏信息量
Yann LeCun 推崇能量模型并认为它们'不是生成式的'因而更优,而 Mattick 反驳认为能量模型从根本上仍是生成式的
全部知识事实 (7)
Stein恒等式构建了一个不依赖于归一化常数的期望表达式,即使归一化常数Z未知,得分函数依然可以计算,这使得Stein方法适用于需要对未归一化分布进行推断的场景(如贝叶斯后验、能量模型)。
50%待验证2006 年前后 LeCun 等人系统梳理了能量模型(EBM)框架
50%待验证将向量间交互建模为吸引/排斥力的计算复杂度通常随候选集规模平方增长
50%待验证Yann LeCun 推崇能量模型并认为它们'不是生成式的'因而更优,而 Mattick 反驳认为能量模型从根本上仍是生成式的
50%待验证能量模型(EBM)训练便宜但采样昂贵,因为每次采样都需运行完整的MCMC链,没有摊销采样成本
50%待验证Mattick 认为能量模型不再真的有用,若要做生成扩散模型或流匹配更好,若要做自监督学习能量模型过于宽泛缺乏信息量
50%待验证能量模型(EBM)的思想是为输入空间中的每个配置分配一个标量能量值,低能量对应高兼容性的输入组合
50%