待验证50% 置信事实精确时间
双下降现象（double descent）和顿悟现象（grokking）表明训练动态比传统学习理论预期更复杂。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
涉及实体
相关事实
待验证随着预训练模型规模扩大，许多曾经有效的显式知识注入技巧逐渐失效甚至产生负面效果70% 相似待验证VICO论文指出当模型能力提升时，固定不变的训练任务会偏离其学习前沿，导致学习信号坍塌70% 相似待验证训练稳定性在强化学习中至关重要，因为策略更新、奖励稀疏、环境随机性都会导致曲线波动，某些自蒸馏方法可能在训练中途出现奖励骤降、熵坍缩（策略过早收敛到单一行为）或梯度异常。69% 相似待验证多层神经网络的损失曲面充满局部极小值和鞍点，训练需要动量、自适应学习率、正则化、批归一化等优化技巧69% 相似待验证GAIL借鉴GAN思想用对抗训练隐式恢复专家行为分布，理论基础是将模仿学习转化为占用度量匹配问题，但受GAN模式崩塌问题影响训练稳定性69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1075538API
curl https://kongchang.com/api/v1/knowledge/claims/1075538MCP
get_claim(id=1075538)