概念神经正切核 / Neural Tangent Kernel
NTK
神经正切核(NTK)是分析神经网络训练动力学的理论工具,基于无限宽网络在初始化附近可近似为线性模型的核方法。
时间轴 (近 90 天)
10月31日
李宏毅允许学生使用ChatGPT写作业,并说明能用大语言模型批改的作业都会用大语言模型来批改,同时感谢NTK的达宾奇团队提供平台和算力支持。
待验证50%
10月19日
基于NTK的线性化仅在小权重更新时成立,而LoRA适配矩阵的更新幅度未必足够小,因此线性化可能无法捕捉LoRA的真实机制。
待验证50%
9月2日
神经切线核(NTK)理论由Jacot等人于2018年提出,揭示了宽神经网络与核方法之间的深刻联系
待验证50%