待验证50% 置信事实精确时间
研究者还在ImageNet上训练的扩散Transformer上进行了实验，得到了同样的两个发现：块正交性没有带来额外收益，而球面优化已经足够。
1
来源数
50%
置信度
长期有效
时效性
2026/11/3
首次发现
来源
涉及实体
相关事实
待验证Transformer、残差连接、批归一化等突破性架构与训练技巧均先在实践中被证明有效，理论解释往往滞后数年71% 相似待验证REPA和RECON的工作表明，扩散Transformer前层学到的语义信息未必能自动流向后层，分层、分阶段地设计监督信号可能是提升训练效率的一个被低估的方向。68% 相似待验证Unsloth通过内核级优化实现了相比原生Hugging Face Transformers训练流程的训练速度大幅提升，同时降低了显存占用68% 相似待验证在AD训练阶段，冻结wav2vec 2.0主干，将两个任务向量按逐层可学习的合并系数注入每个Transformer层，整个训练过程仅优化这些合并系数和一个线性分类头，可训练参数不到全量微调的0.1%。67% 相似待验证一项研究提出仅训练单个Transformer层，其效果就能与全参数RL训练相媲美67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1129391API
curl https://kongchang.com/api/v1/knowledge/claims/1129391MCP
get_claim(id=1129391)