待验证50% 置信基准精确时间

在中等噪声水平、模型中间层的位置，2 个可学习的 null 槽吸收了约 90% 的交叉注意力质量，而 EOS token 占比骤降到约 4%

1

来源数

50%

置信度

长期有效

时效性

2026/9/11

首次发现

来源

单GPU从零训练2.1亿参数文生图DiT：三个关键实测发现

涉及实体

learned null slotsconcept cross attentionconcept

相关事实

待验证实验数据显示，经过5-10轮迭代训练后，模型在低频词汇和长尾知识上的覆盖率下降超过40%，而输出文本在表面流畅性上几乎没有可察觉的退化66% 相似待验证研究表明，当上下文超过一定长度后，模型对中间部分内容的回忆准确率可能下降到50%以下61% 相似待验证Google 内部统计数据表明，E2E 测试与单元测试的数量比例建议维持在 1:10 乃至更低61% 相似待验证在演示数据集上训练15轮后，文本分类模型准确率达到99%，模型总参数11万（Attention 1.6万，FFN 3.3万，其余为Embedding）61% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/902316

API

curl https://kongchang.com/api/v1/knowledge/claims/902316

MCP

get_claim(id=902316)