#信息几何
共 3 篇相关文章

·4 分钟
保形检验鞅的信息几何盲区:分布漂移为何检测不到
本文解读保形检验鞅(CTM)的信息几何盲区:分布漂移若保持保形分数推前分布不变,则CTM无法检测。文章形式化A-等价类与A-隐秘I-投影,给出KL散度最近元素的显式密度及勾股分解,并在EMNIST/MNIST图像数据上实证构造盲区。讨论对e-value设计与分布漂移检测的启示。
阅读全文 →

·6 分钟
自然梯度下降有多低效?从精确最优到 Θ(√log d) 的偏差分析
新研究量化了自然梯度下降(NGD)的低效程度,通过低效比率 R 揭示三种机制:二次势函数族 R=1 精确最优、偏度有界族维度无关有界、尺度族乘积则呈 Θ(√log d) 无界增长,并转化为实际计算成本。
阅读全文 →

·5 分钟
锚点散度:让对比学习表示适应上下文语义几何
arXiv 新论文提出"锚点散度"方法,通过连接对比学习、指数族与信息几何,让固定的向量表示适应上下文相关的语义几何,在检索任务上验证了有效性。本文解读其核心思想与应用价值。
阅读全文 →