镜面服装下的深度估计：人像清晰，背景为何消失？

在计算机视觉领域，深度估计模型通常能准确分割人物，但在面对镜面材质时，背景却常常被抹除。一位Reddit用户用425张RAW帧测试了身着多面镜面服装的表演者，发现河边墙壁和水面变成平滑渐变，桥下天空成为黑洞，山顶群山压成黑墙。人物轮廓精准，但背景几何信息丢失。这引发了一个关键问题：失效究竟发生在边缘还是背景，抑或两者兼有？

测试场景与现象

该测试在户外非受控光照下进行，拍摄对象穿着多面镜面服装，共采集425帧RAW图像。在河边场景中，墙壁和水面本应具有丰富纹理和几何结构，但深度图将其压缩为平滑梯度，丢失了距离信息。桥下场景中，天空区域被预测为黑色空洞，而实际上天空具有无限远的深度。山顶场景里，远山被简化为深色墙壁，缺乏层次感。人物本身的分割却保持清晰，说明模型对人像的识别能力较强，但对高光反射区域的深度推理存在系统性缺陷。

RAW帧是指图像传感器输出的未经处理的原始数据，保留了完整的线性光信息与高动态范围，未经白平衡、去马赛克或色调映射等处理。在深度估计研究中，使用RAW帧而非JPEG等压缩格式，可以避免后期处理引入的伪影和动态范围压缩，更真实地反映传感器捕获的光照信息，从而更准确地评估模型对镜面反射等极端光照条件的鲁棒性。

失效根源：边缘还是背景？

镜面服装表面反射周围环境，导致局部像素值与背景高度相似，甚至完全相同。这给边缘检测带来挑战：人物与背景的边界可能因反射而模糊，但测试中人物轮廓依然完整，暗示边缘处理并非主要瓶颈。更可能的问题在于背景区域：深度模型依赖纹理、阴影和透视线索，而镜面反射破坏了这些线索，使模型无法区分“反射的虚拟图像”与“真实的背景几何”。当镜面占据画面大部分时，模型可能将反射内容误判为背景本身，或者因缺乏可靠特征而输出均匀的深度值。因此，失效是边缘和背景共同作用的结果，但背景的退化更为根本。

朗伯表面是指遵循朗伯余弦定律的理想漫反射表面，其反射光强与观察角度无关，仅取决于入射光方向与表面法线。大多数深度估计模型在训练时假设场景由朗伯表面构成，依赖纹理、阴影等漫反射线索推断深度。镜面材质则表现为非朗伯特性，其反射具有强方向性，会镜面反射周围环境，破坏了模型依赖的漫反射假设，导致深度线索失效。

技术挑战与可能方向

要解决这一问题，需要从数据和模型两方面入手。数据层面，应构建包含镜面材质的测试集，覆盖不同光照、角度和场景复杂度，以验证模型在反射条件下的鲁棒性。模型层面，可引入反射感知模块，显式分离反射层与透射层，或利用多视角几何约束来恢复背景结构。此外，深度估计模型应学会识别高光区域并降低其置信度，避免过度平滑。在信任深度图之前，测试集应能证明模型在镜面填充画面时仍能保持背景几何的合理性，例如通过对比真实深度或使用合成数据验证。

反射感知模块的核心思想是将图像分解为反射层和透射层（或本征图像分解），从而显式建模镜面反射。传统方法如基于物理的反射模型或盲源分离，近年来深度学习方法通过训练网络预测反射分量，已在去反射、本征图像分解等任务中应用。在深度估计中引入此类模块，可以帮助模型区分镜面反射的虚拟图像与真实场景几何，减少反射对深度推理的干扰。

多视角几何约束利用同一场景在不同视角下的图像，通过三角测量恢复三维结构。对于镜面区域，由于反射内容随视角变化，多视角一致性假设被破坏，但通过检测并剔除不一致的像素，仍可利用非镜面区域约束背景几何。结合多视角信息，深度模型可以更可靠地推断被镜面遮挡的背景结构，或识别反射区域并降低其置信度。

结论

镜面服装暴露了当前深度估计模型在非朗伯表面上的脆弱性。人物分割的准确性掩盖了背景重建的失败，这提醒我们：在复杂真实场景中，深度感知仍需更鲁棒的算法和更全面的评估基准。