[控场AI]
概念effective rank

有效秩

衡量矩阵实际使用维度的指标,基于奇异值分布熵或能量覆盖方向数定义,常作为表示复杂度或压缩程度的代理指标。

时间轴 (近 90 天)

11月2日

有效秩是矩阵秩的连续化度量,对于半正定矩阵Σ定义为 erank(Σ) = tr(Σ)/||Σ||_op,取值介于1和维度d之间。

待验证50%
10月27日

新研究通过系统实验发现,权重矩阵有效秩的下降跟随顿悟发生,而非导致顿悟。

待验证50%
10月27日

无论顿悟发生得多晚,有效秩最陡峭的下降始终出现在顿悟起点之后约900步。

待验证50%
10月27日

有效秩是衡量矩阵“实际使用维度”的指标,通常由奇异值分布定义:将奇异值归一化为概率分布后计算其熵的指数,或统计覆盖给定能量比例所需的方向数。

待验证50%
10月27日

监控有效秩可以作为检测模型是否进入泛化阶段的指标,但不能指望通过强制低秩来“催生”顿悟。

待验证50%
10月27日

只记忆而不泛化的网络,有效秩压缩程度要小得多。

待验证50%
9月11日

第一种度量是有效秩(Effective Rank),以连续方式衡量雅可比矩阵在多少个方向上真正有作用

待验证50%

全部知识事实 (7)

来源文章