[控场AI]
概念神经正切核 / Neural Tangent Kernel

NTK

神经正切核(NTK)是分析神经网络训练动力学的理论工具,基于无限宽网络在初始化附近可近似为线性模型的核方法。

时间轴 (近 90 天)

10月31日

李宏毅允许学生使用ChatGPT写作业,并说明能用大语言模型批改的作业都会用大语言模型来批改,同时感谢NTK的达宾奇团队提供平台和算力支持。

待验证50%
10月19日

基于NTK的线性化仅在小权重更新时成立,而LoRA适配矩阵的更新幅度未必足够小,因此线性化可能无法捕捉LoRA的真实机制。

待验证50%
9月2日

神经切线核(NTK)理论由Jacot等人于2018年提出,揭示了宽神经网络与核方法之间的深刻联系

待验证50%

全部知识事实 (3)

来源文章