[控场AI]
人物

Barron

Barron,研究人员,与Gnanapragasam和Tschannen合作发表论文《A Fix for Softmax and Cross-Entropy》,研究交叉熵计算中的数值精度问题。

时间轴 (近 90 天)

11月2日

Barron、Gnanapragasam与Tschannen的论文《A Fix for Softmax and Cross-Entropy》(2026年10月)指出,标准交叉熵计算在模型足够自信时(bf16下margin约5.5)会将正确答案的梯度舍入为精确的零。

待验证50%
10月5日

在没有Dropout的确定性设定下,Sobolev空间逼近的最优逼近率以ε^{-d/n}的参数复杂度为基准,由Barron、DeVore等人研究

待验证50%

全部知识事实 (2)

来源文章