概念KL Divergence / Kullback-Leibler Divergence / KL散度
KL散度
信息论中衡量两个概率分布差异的非对称度量,在VAE损失函数中作为正则化项,约束编码器输出分布接近标准正态先验,防止潜在空间碎片化
时间轴 (近 90 天)
8月27日
KL散度在变分推断(VAE的ELBO目标)、知识蒸馏和模型压缩中扮演核心角色
待验证50%
8月23日
Wasserstein距离是一个真正的度量,满足对称性和三角不等式,而KL散度不对称且在分布支撑不重叠时为无穷大
待验证50%
8月21日
检测数据漂移的常用方法包括KS检验、PSI(Population Stability Index)和基于滑动窗口的统计监控
待验证50%