[控场AI]
概念random matrix theory / RMT

随机矩阵理论

数学物理与概率论中研究大型随机矩阵谱性质的理论工具,在机器学习理论中用于对神经网络泛化误差进行精确渐近分析

时间轴 (近 90 天)

10月19日

尖峰Wigner模型是随机矩阵理论中的经典框架:观测矩阵可写为 Y = λ x x^T + W,其中 x 是待估的低秩信号向量,W 是实对称的Wigner噪声矩阵(上三角元素独立同分布、均值为零、方差为 1/n),λ 控制信噪比。

待验证50%
10月12日

研究引入高温Marchenko-Pastur分布(HTMP)假设来刻画重尾特性

待验证50%
10月12日

Marchenko-Pastur定律描述当m×n矩阵元素独立同分布时,其样本协方差矩阵特征值密度在高维极限下收敛到确定分布

待验证50%
10月12日

该研究是随机矩阵理论首次被系统性用于为DNN权重谱经验指标提供严格统计学基础的尝试之一

待验证50%
10月8日

论文使用随机矩阵理论为经过最优训练的教师模型和通过梯度流训练的学生模型推导出population error的确定性等价

待验证50%
10月5日

确定性等价是随机矩阵理论的核心工具,当维度 p 与样本量 n 同比例趋于无穷(p/n → γ)时,随机量会依概率收敛到确定性表达式

待验证50%
9月11日

Marčenko和Pastur在1967年建立了样本协方差矩阵特征值分布的渐近理论,随机矩阵理论最初由Eugene Wigner在1950年代发展

待验证50%
9月11日

Marčenko-Pastur定律从随机矩阵理论角度描述了噪声特征值的分布规律

待验证50%

全部知识事实 (8)

来源文章