随机矩阵理论
数学物理与概率论中研究大型随机矩阵谱性质的理论工具,在机器学习理论中用于对神经网络泛化误差进行精确渐近分析
时间轴 (近 90 天)
尖峰Wigner模型是随机矩阵理论中的经典框架:观测矩阵可写为 Y = λ x x^T + W,其中 x 是待估的低秩信号向量,W 是实对称的Wigner噪声矩阵(上三角元素独立同分布、均值为零、方差为 1/n),λ 控制信噪比。
研究引入高温Marchenko-Pastur分布(HTMP)假设来刻画重尾特性
Marchenko-Pastur定律描述当m×n矩阵元素独立同分布时,其样本协方差矩阵特征值密度在高维极限下收敛到确定分布
该研究是随机矩阵理论首次被系统性用于为DNN权重谱经验指标提供严格统计学基础的尝试之一
论文使用随机矩阵理论为经过最优训练的教师模型和通过梯度流训练的学生模型推导出population error的确定性等价
确定性等价是随机矩阵理论的核心工具,当维度 p 与样本量 n 同比例趋于无穷(p/n → γ)时,随机量会依概率收敛到确定性表达式
Marčenko和Pastur在1967年建立了样本协方差矩阵特征值分布的渐近理论,随机矩阵理论最初由Eugene Wigner在1950年代发展
Marčenko-Pastur定律从随机矩阵理论角度描述了噪声特征值的分布规律
全部知识事实 (8)
尖峰Wigner模型是随机矩阵理论中的经典框架:观测矩阵可写为 Y = λ x x^T + W,其中 x 是待估的低秩信号向量,W 是实对称的Wigner噪声矩阵(上三角元素独立同分布、均值为零、方差为 1/n),λ 控制信噪比。
50%待验证研究引入高温Marchenko-Pastur分布(HTMP)假设来刻画重尾特性
50%待验证Marchenko-Pastur定律描述当m×n矩阵元素独立同分布时,其样本协方差矩阵特征值密度在高维极限下收敛到确定分布
50%待验证该研究是随机矩阵理论首次被系统性用于为DNN权重谱经验指标提供严格统计学基础的尝试之一
50%待验证论文使用随机矩阵理论为经过最优训练的教师模型和通过梯度流训练的学生模型推导出population error的确定性等价
50%待验证确定性等价是随机矩阵理论的核心工具,当维度 p 与样本量 n 同比例趋于无穷(p/n → γ)时,随机量会依概率收敛到确定性表达式
50%待验证Marčenko和Pastur在1967年建立了样本协方差矩阵特征值分布的渐近理论,随机矩阵理论最初由Eugene Wigner在1950年代发展
50%待验证Marčenko-Pastur定律从随机矩阵理论角度描述了噪声特征值的分布规律
50%