待验证50% 置信事实精确时间

瓶颈维度的选择本质上是信息压缩率与重构质量之间的权衡，对应率失真理论；Shannon于1959年证明对于给定失真容忍度存在理论最小编码率下界

1

来源数

50%

置信度

长期有效

时效性

2026/8/22

首次发现

来源

Entropic Scree：用信息熵替代方差重构PCA降维方法

涉及实体

率失真理论concept Claude Shannonperson

相关事实

待验证香农的率失真理论证明，在给定比特率约束下，任何有损压缩都存在不可逾越的失真下界75% 相似待验证Saxe等研究者对信息瓶颈的压缩阶段提出质疑，发现压缩阶段并非普遍存在，其出现与否依赖激活函数选择（如使用ReLU则往往不出现压缩）71% 相似待验证梯度下降的收敛条件与学习率和损失函数的Lipschitz常数的关系有关70% 相似待验证负向约束通过明确排除不期望的输出收窄概率空间，与正向指令同等重要，可减少模型创造性发挥的偏差70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/788596

API

curl https://kongchang.com/api/v1/knowledge/claims/788596

MCP

get_claim(id=788596)