Kolmogorov-Arnold Networks
一种基于柯尔莫哥洛夫-阿诺德表示定理的神经网络架构,将可学习的样条函数置于边上而非节点上,具有参数效率高和局部可解释性强的特点。
时间轴 (近 90 天)
与 MLP 把固定非线性激活函数放在节点、权重放在边上不同,KAN 把可学习的样条函数(通常是 B 样条)放在边上,节点只做求和。
KAN 的边上的样条只在其定义域局部生效,这种局部性使 KAN 在学习新任务时对既有函数的改动更集中,不易波及与旧任务相关的参数区域。
论文指出KAN在学习控制问题中的物理关系时能以显著更高的参数效率完成任务
KAN最初在2024年由MIT等机构的研究者提出(Liu et al., 2024),通常采用B样条或其他可学习基函数来参数化边上的激活函数
实验显示KAN相对MLP在训练过程中的相对性能提升可达50%
实验显示KAN对奖励噪声具有鲁棒性,在奖励信号存在不同程度噪声时收益依然稳定
论文结论主要建立在Feynman数据集和Gymnasium基准之上,KAN在更复杂高维的真实机器人或工业系统中能否复现40%样本节省仍需进一步验证
一篇发布在arXiv上的研究(arXiv:2610.10627)系统性地探讨了KAN架构在提升强化学习样本效率方面的潜力
论文的核心结论是使用KAN架构可以在样本量减少40%的情况下达到与传统MLP相当的性能
KAN将可学习的激活函数放在网络的边(连接)上,而传统MLP在节点上使用固定激活函数、在边上使用可学习权重
还有 5 条时间轴事件
全部知识事实 (15)
与 MLP 把固定非线性激活函数放在节点、权重放在边上不同,KAN 把可学习的样条函数(通常是 B 样条)放在边上,节点只做求和。
50%待验证KAN 的边上的样条只在其定义域局部生效,这种局部性使 KAN 在学习新任务时对既有函数的改动更集中,不易波及与旧任务相关的参数区域。
50%待验证论文指出KAN在学习控制问题中的物理关系时能以显著更高的参数效率完成任务
50%待验证KAN最初在2024年由MIT等机构的研究者提出(Liu et al., 2024),通常采用B样条或其他可学习基函数来参数化边上的激活函数
50%待验证实验显示KAN相对MLP在训练过程中的相对性能提升可达50%
50%待验证实验显示KAN对奖励噪声具有鲁棒性,在奖励信号存在不同程度噪声时收益依然稳定
50%待验证论文结论主要建立在Feynman数据集和Gymnasium基准之上,KAN在更复杂高维的真实机器人或工业系统中能否复现40%样本节省仍需进一步验证
50%待验证一篇发布在arXiv上的研究(arXiv:2610.10627)系统性地探讨了KAN架构在提升强化学习样本效率方面的潜力
50%待验证论文的核心结论是使用KAN架构可以在样本量减少40%的情况下达到与传统MLP相当的性能
50%待验证KAN将可学习的激活函数放在网络的边(连接)上,而传统MLP在节点上使用固定激活函数、在边上使用可学习权重
50%待验证KAN的理论基础源自Kolmogorov-Arnold表示定理
50%待验证KAN将可学习的激活函数放置在网络的边上,每条边对应一个可训练的样条函数,与传统MLP在节点处应用固定激活函数不同
50%待验证KANSteer使用Kolmogorov-Arnold Networks(KAN)提供一维坐标,其学习到的函数定义概念在激活空间中的运动轨迹
50%待验证Kolmogorov-Arnold Networks(KAN)由MIT等机构于2024年提出
50%待验证KAN(Kolmogorov-Arnold Networks)于2024年提出,放弃传统固定权重矩阵,在每条网络连接上放置一个可学习的样条函数
50%