待验证60% 置信事实精确时间
Ethayarajh等人于2019年通过实证研究揭示BERT、GPT等预训练模型的词向量高度集中在狭窄的锥形区域内，存在各向异性
2
来源数
60%
置信度
长期有效
时效性
2026/7/7
首次发现
来源
分散损失：破解小语言模型嵌入坍缩的关键技术
hackernewshackernews2026/7/3
相关事实
待验证许多预训练模型产生的向量并非均匀分布在空间中，而是挤在一个狭窄的锥形区域内，这种现象称为各向异性（Anisotropy）68% 相似待验证BERTScore 等基于预训练向量的指标尝试引入语义相似度，但仍停留在句子粒度，难以追踪答案中具体事实主张是否与上下文一致65% 相似待验证语境混淆造成的是窄域失准（narrow misalignment），失准集中在与训练数据语义相近的特定领域，而非模型整体行为的广泛退化65% 相似待验证当数据中存在明显的异方差结构时，单一全局早停点可能并非最优，值得探索区域自适应的训练策略65% 相似待验证一项新研究推导出了在梯度信号稀疏、局部且间歇可用时稳定学习的显式条件。64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/189248API
curl https://kongchang.com/api/v1/knowledge/claims/189248MCP
get_claim(id=189248)