概念effective rank
有效秩
衡量矩阵实际使用维度的指标,基于奇异值分布熵或能量覆盖方向数定义,常作为表示复杂度或压缩程度的代理指标。
时间轴 (近 90 天)
11月2日
有效秩是矩阵秩的连续化度量,对于半正定矩阵Σ定义为 erank(Σ) = tr(Σ)/||Σ||_op,取值介于1和维度d之间。
待验证50%
10月27日
新研究通过系统实验发现,权重矩阵有效秩的下降跟随顿悟发生,而非导致顿悟。
待验证50%
10月27日
无论顿悟发生得多晚,有效秩最陡峭的下降始终出现在顿悟起点之后约900步。
待验证50%
10月27日
有效秩是衡量矩阵“实际使用维度”的指标,通常由奇异值分布定义:将奇异值归一化为概率分布后计算其熵的指数,或统计覆盖给定能量比例所需的方向数。
待验证50%
10月27日
监控有效秩可以作为检测模型是否进入泛化阶段的指标,但不能指望通过强制低秩来“催生”顿悟。
待验证50%
10月27日
只记忆而不泛化的网络,有效秩压缩程度要小得多。
待验证50%
9月11日
第一种度量是有效秩(Effective Rank),以连续方式衡量雅可比矩阵在多少个方向上真正有作用
待验证50%
全部知识事实 (7)
待验证
有效秩是矩阵秩的连续化度量,对于半正定矩阵Σ定义为 erank(Σ) = tr(Σ)/||Σ||_op,取值介于1和维度d之间。
50%待验证新研究通过系统实验发现,权重矩阵有效秩的下降跟随顿悟发生,而非导致顿悟。
50%待验证无论顿悟发生得多晚,有效秩最陡峭的下降始终出现在顿悟起点之后约900步。
50%待验证有效秩是衡量矩阵“实际使用维度”的指标,通常由奇异值分布定义:将奇异值归一化为概率分布后计算其熵的指数,或统计覆盖给定能量比例所需的方向数。
50%待验证监控有效秩可以作为检测模型是否进入泛化阶段的指标,但不能指望通过强制低秩来“催生”顿悟。
50%待验证只记忆而不泛化的网络,有效秩压缩程度要小得多。
50%待验证第一种度量是有效秩(Effective Rank),以连续方式衡量雅可比矩阵在多少个方向上真正有作用
50%