互信息
互信息是信息论中衡量两个随机变量之间统计依赖程度的度量，反映知道一个变量后对另一个变量不确定性的平均减少量，以比特为单位
时间轴 (近 90 天)
MIRA的扰动尺度选择依赖互信息估计，在批次较小或类别极多时可能面临估计方差问题。
互信息衡量预测与扰动分类器之间的依赖程度，若预测在扰动下变化剧烈则MI较小。
VC维越高，区域越复杂，估计误差可能越大；互信息越大，区域选择与样本的关联越强，估计误差也越大。
论文针对混合估计器的误差推导了两个界：一个基于可能错误区域的VC维，另一个基于所选区域与样本的互信息。
总体独立性指表征z与敏感属性c满足P(z,c)=P(z)P(c)，等价于互信息I(z;c)=0，且比条件独立性约束更强。
互信息取值范围从0（完全独立）到变量熵的较小值（完全依赖），常被用作filter式特征选择的评分标准。
互信息度量两个随机变量之间的统计依赖性，能捕捉任意形式的依赖，包括非线性和非单调关系，且适用于类别变量与数值变量的组合。
在该数据集中，改用互信息评分后，与目标变量互信息最高的特征是 lead_source——一个类别特征。
在有限样本下估计互信息与条件熵极具挑战：高维连续变量的熵估计存在系统性偏差，常用的 k 近邻估计器（如 Kraskov 估计）在隐藏状态维度较高或序列相关性很强时仍不稳定。
互信息 I(X;Y) 定义为联合分布与边缘分布乘积之间的 KL 散度，等价于知道 X 后 Y 的不确定性减少量。
还有 7 条时间轴事件
全部知识事实 (17)
MIRA的扰动尺度选择依赖互信息估计，在批次较小或类别极多时可能面临估计方差问题。
50%待验证互信息衡量预测与扰动分类器之间的依赖程度，若预测在扰动下变化剧烈则MI较小。
50%待验证VC维越高，区域越复杂，估计误差可能越大；互信息越大，区域选择与样本的关联越强，估计误差也越大。
50%待验证论文针对混合估计器的误差推导了两个界：一个基于可能错误区域的VC维，另一个基于所选区域与样本的互信息。
50%待验证总体独立性指表征z与敏感属性c满足P(z,c)=P(z)P(c)，等价于互信息I(z;c)=0，且比条件独立性约束更强。
50%待验证互信息取值范围从0（完全独立）到变量熵的较小值（完全依赖），常被用作filter式特征选择的评分标准。
50%待验证互信息度量两个随机变量之间的统计依赖性，能捕捉任意形式的依赖，包括非线性和非单调关系，且适用于类别变量与数值变量的组合。
50%待验证在该数据集中，改用互信息评分后，与目标变量互信息最高的特征是 lead_source——一个类别特征。
50%待验证在有限样本下估计互信息与条件熵极具挑战：高维连续变量的熵估计存在系统性偏差，常用的 k 近邻估计器（如 Kraskov 估计）在隐藏状态维度较高或序列相关性很强时仍不稳定。
50%待验证互信息 I(X;Y) 定义为联合分布与边缘分布乘积之间的 KL 散度，等价于知道 X 后 Y 的不确定性减少量。
50%待验证条件熵 H(Y|X) 表示在已知 X 的条件下 Y 剩余的不确定性，熵与互信息的关系 H(Y) = I(X;Y) + H(Y|X) 是分解瞬时与持久贡献的关键恒等式。
50%待验证在循环网络审计中，若令 H_t 为 t 时刻隐藏状态、X_t 为当前输入，则 I(H_t; X_t) 刻画瞬时成分，I(H_t; θ) 或 I(H_t; 训练分布) 刻画由权重携带的持久成分。
50%待验证多元高斯分布下的互信息可以完全由协方差矩阵决定，可表示为联合协方差矩阵与边际协方差矩阵的行列式比值
50%待验证超额熵定义为过去与未来之间的互信息，以比特为单位衡量过去中对预测未来有用的信息量
50%待验证MPE用条件概率和预测准确率来表述，与经典信息论方法（如互信息、超额熵）形成互补
50%待验证互信息定义为I(X;Y) = H(X) + H(Y) - H(X,Y)，度量两个变量间的总依赖关系（包括线性和非线性），为零当且仅当两变量统计独立
50%待验证熵能够完整捕捉概率分布的所有阶矩信息，而方差只能捕捉线性、二阶的统计关系；互信息能度量包括非线性在内的总依赖关系，比Pearson相关系数更通用
50%