概念spherical bias ReLU features

球面偏置ReLU特征

一种常用于理论分析的随机特征模型：输入向量归一化到单位球面，通过随机权重矩阵投影并加上偏置，最后应用ReLU激活函数，与两层神经网络的隐藏层结构对应。

时间轴 (近 90 天)

10月23日

对于维度为d的球面偏置ReLU特征，当初始化尺度τ≥1时，谱衰减指数α = (d+2)/(d-1)，κ_0^* = 4√2 τ(d+1)/d；在岭杠杆采样下，κ_1^* = 1。

待验证50%

10月23日

以d=5、τ=10为例，可训练比例约为4.1%时，就能捕获从P=0到P=1的近似边界缩减的90%。

待验证50%

对于维度为d的球面偏置ReLU特征，当初始化尺度τ≥1时，谱衰减指数α = (d+2)/(d-1)，κ_0^* = 4√2 τ(d+1)/d；在岭杠杆采样下，κ_1^* = 1。

以d=5、τ=10为例，可训练比例约为4.1%时，就能捕获从P=0到P=1的近似边界缩减的90%。