信息论
由克劳德·香农创立的数学理论，核心是量化信息的不确定性减少量，广泛应用于通信、编码等领域
核心事实
时间轴 (近 90 天)
历史上，信息论、控制论等数学框架曾为后续的技术突破奠定了基础。
在信息论框架下，一条消息的信息量取决于它消除了多少不确定性，越是不可能被预知的消息信息量越大。
生成模型无法产生超出其学习参数的信息，每一次合成生成都会引入采样方差并截断稀有 token，导致下游训练累积统计偏差，递归循环本质上是信息损耗过程。
惊异度是信息论中基础概念，指一个词或字符串在给定上下文中出现的意外程度，常用负对数概率衡量：概率越低，惊异度越高。
解码策略的设计正从经验驱动走向理论驱动，信息论可以提供更坚实的理论基础和更清晰的性能边界。
EOS代表的方向是用严格的信息论和在线学习框架重新推导解码启发式方法，并给出可证明的性能边界。
信息论与验证交叉领域，如此大规模的形式化尚属罕见，本文为结论的可靠性设定了高标准。
该框架用信息论把重构难度分解为训练泄露的信息和数据本身的不确定性两个正交来源
信息论的奠基性论文由单一作者完成，此后几乎没有任何一篇计算机科学论文能在影响力上超越它
信息论中的信道容量退化可描述模型崩溃过程：每次信号经过有损传输并被重新编码会引入量化误差，若以输出作为下一次输入，误差将以指数级累积
还有 12 条时间轴事件
全部知识事实 (20)
香农（Claude Shannon）于1948年发表《通信的数学理论》，奠定了现代信息论的基础
75%待验证信息熵这一概念源自信息论，由克劳德·香农于1948年提出，用于衡量信息系统中的不确定性与混乱程度
60%待验证历史上，信息论、控制论等数学框架曾为后续的技术突破奠定了基础。
50%待验证在信息论框架下，一条消息的信息量取决于它消除了多少不确定性，越是不可能被预知的消息信息量越大。
50%待验证生成模型无法产生超出其学习参数的信息，每一次合成生成都会引入采样方差并截断稀有 token，导致下游训练累积统计偏差，递归循环本质上是信息损耗过程。
50%待验证惊异度是信息论中基础概念，指一个词或字符串在给定上下文中出现的意外程度，常用负对数概率衡量：概率越低，惊异度越高。
50%待验证解码策略的设计正从经验驱动走向理论驱动，信息论可以提供更坚实的理论基础和更清晰的性能边界。
50%待验证EOS代表的方向是用严格的信息论和在线学习框架重新推导解码启发式方法，并给出可证明的性能边界。
50%待验证信息论与验证交叉领域，如此大规模的形式化尚属罕见，本文为结论的可靠性设定了高标准。
50%待验证该框架用信息论把重构难度分解为训练泄露的信息和数据本身的不确定性两个正交来源
50%待验证信息论的奠基性论文由单一作者完成，此后几乎没有任何一篇计算机科学论文能在影响力上超越它
50%待验证信息论中的信道容量退化可描述模型崩溃过程：每次信号经过有损传输并被重新编码会引入量化误差，若以输出作为下一次输入，误差将以指数级累积
50%待验证Shannon在1948年的奠基性论文中指出，闭环自引用系统在没有外部校正信号的情况下最终会收敛到退化的低熵状态
50%待验证压缩与预测本质上是同一件事，一个能很好压缩数据的模型必然对数据分布有良好的建模能力
50%待验证信息论中的熵与KL散度是理解损失函数设计和生成模型（如VAE、扩散模型）的重要基础
50%待验证二进制编码策略达到了log₂(n)的信息论最优下界
50%待验证香农指出，如果一个事件有n种等概率的可能结果，确定具体结果所需的最小信息量为log₂(n)比特
50%待验证毒药瓶问题的二进制编码策略恰好达到信息论理论下界log₂(n)，是一种信息论最优方案
50%待验证一只老鼠有生或死两种状态，等价于携带1比特的信息量
50%待验证log₂(n)是区分n个对象所需的最小信息量，这体现了信息论思想
50%