概念Modular Arithmetic / 模块算术
模块化算术
以整数模运算为基础的数学任务,如计算(a+b) mod p,因其结构清晰、具有非平凡代数结构且便于控制变量,成为研究神经网络Grokking现象的标准基准任务
时间轴 (近 90 天)
9月12日
Grokking现象最初在模块化算术任务上被广泛观察到
待验证50%
9月12日
该研究在两层隐藏层MLP上针对模块化算术任务系统扫描了384种超参数配置
待验证50%
9月12日
模块化算术任务的典型形式是给定模数p(通常取质数如97或113),让模型学习形如(a+b) mod p的运算,输入为整数独热编码
待验证50%
9月12日
模型若要真正泛化模块化算术任务,需要隐式地发现离散傅里叶变换等周期性表示,而非死记每对输入的答案
待验证50%