#AI理论

共 5 篇相关文章

新论文提出位置可实现性理论，通过单头位置注意力抽象和标量α_L，推导长度泛化对位置编码的依赖模式，并精确界定理论边界。

本文解读论文《General Frequency Principle for Linear Approximation Classes》，该研究证明梯度下降在线性逼近类中抑制高频幅度并建立低频优先的充分条件，通过Legendre和三角函数基实验验证，澄清了低频并非总是收敛更快。

该研究提出首个全多项式时间算法，用于PAC学习ReLU激活函数的正线性组合，解决了长期以来计算复杂度高或依赖强假设的问题。

本文深入解读分位数分布式强化学习的最新理论研究，分析分位数贝尔曼不动点的统计精度、Wasserstein距离下的非渐近误差界及局部渐近极小极大风险，揭示分辨率与收敛速率的关系。

最新研究证明高斯混合模型的非参数最大似然估计（NPMLE）在平方Hellinger距离下达到极小极大最优速率log(n)/n，并给出紧支撑下的更快速率及经验贝叶斯应用。