#泛化理论
共 7 篇相关文章
·4 分钟
CoT推理为何能泛化？理论首次给出OOD保证
论文将思维链推理形式化为组合式分布外泛化问题，证明CoT通过共享单步预测器反复组合实现泛化，给出O(k)系数、O(√(T/n))估计项的风险上界，并在Atom-Task与GSM8K上验证短到长泛化，强调显式状态跟踪的关键作用。
阅读全文 →
·3 分钟
Transformer泛化边界新解：长序列训练为何比多样本更高效
最新研究联合分析Transformer的分布内泛化与长度泛化，发现增加训练长度比增加样本数指数级更高效，为长序列训练策略提供理论依据。
阅读全文 →
·3 分钟
Grokking新解：秩压缩是顿悟的标志而非成因
新研究发现Grokking中权重矩阵的秩压缩发生在顿悟之后，子空间结晶从四分之一收缩到十分之一，强制低秩反而延迟或阻止顿悟，表明压缩是标志而非成因。
阅读全文 →
·5 分钟
告别参数量依赖：Dirichlet过程实现深度网络无维度PAC-Bayes泛化界
经典PAC-Bayes泛化界随参数量线性增长，在过参数化网络中失效。本文提出用Dirichlet过程将先验从参数空间转移到数据分布空间，利用数据处理不等式得到精确闭式散度，实现严格无维度泛化证书。在MNIST上从7,850到420万参数的架构中，新证书稳定在8.8%-9.4%，而经典界超过940%失效。
阅读全文 →
·5 分钟
量子分类器的深度与数据量：联合优化为何失效
最新研究复现 Q-FLAIR 自适应量子电路生长机制，在 MNIST 上测试五档训练集规模，发现电路规模与数据量之间无可预测关系，Caro 泛化边界虽有效但预测力极弱（r=0.12），电路深度与训练数据量的联合优化仍是开放问题。
阅读全文 →
·3 分钟
压缩学习的风险估计达到大数定律收敛速率
一篇统计学习理论论文证明，基于偏好压缩的学习算法风险估计可消除对数因子，达到大数定律的 O(1/√N) 最优收敛速率，并论证主导项 k/N 的必要性及其与经验风险的关系。
阅读全文 →
