[控场AI]
概念KL Divergence / Kullback-Leibler Divergence / KL散度

KL散度

信息论中衡量两个概率分布差异的非对称度量,在VAE损失函数中作为正则化项,约束编码器输出分布接近标准正态先验,防止潜在空间碎片化

时间轴 (近 90 天)

8月27日

KL散度在变分推断(VAE的ELBO目标)、知识蒸馏和模型压缩中扮演核心角色

待验证50%
8月23日

Wasserstein距离是一个真正的度量,满足对称性和三角不等式,而KL散度不对称且在分布支撑不重叠时为无穷大

待验证50%
8月21日

检测数据漂移的常用方法包括KS检验、PSI(Population Stability Index)和基于滑动窗口的统计监控

待验证50%

全部知识事实 (3)

来源文章