概念Heaviside step function / 阶跃函数
阶跃函数
一种在某个阈值处从0跳变到1的函数，在神经网络中常被Sigmoid等平滑函数近似，用于构造分段常数逼近。
时间轴 (近 90 天)
11月3日
使用阶跃函数或硬阈值激活函数模拟逻辑门面临梯度消失或不可导的问题，难以用反向传播训练。
待验证50%
10月16日
Handwired 文档说明比较操作回传的是阶跃函数的导数，除了比一个网格步长还窄的缝隙之外处处为零。
待验证50%
一种在某个阈值处从0跳变到1的函数，在神经网络中常被Sigmoid等平滑函数近似，用于构造分段常数逼近。
使用阶跃函数或硬阈值激活函数模拟逻辑门面临梯度消失或不可导的问题，难以用反向传播训练。
Handwired 文档说明比较操作回传的是阶跃函数的导数，除了比一个网格步长还窄的缝隙之外处处为零。