Una escena, dos profundidades: Explorando la ambigüedad geométrica en modelos fundacionales monoculares

Resumen

Una representación fiel del mundo 3D debe considerar la geometría en capas, donde un mismo rayo de cámara puede contener múltiples superficies visibles y geométricamente válidas. Sin embargo, la estimación de profundidad monocular reduce esta estructura a una profundidad escalar por píxel. Las escenas transparentes hacen que esta ambigüedad sea medible: el mismo rayo puede atravesar un vidrio en primer plano y observar el fondo, convirtiendo el objetivo supervisado en una convención de anotación, datos y entrenamiento, en lugar de una verdad intrínseca de la escena. Un predictor aprendido revela esta convención como su preferencia de capa de profundidad. Presentamos MultiDepth-3k (MD-3k), un banco de pruebas ordinal disperso de dos capas para medir la preferencia de capa de profundidad y la precisión de la relación espacial multicapa (ML-SRA). En MD-3k, los modelos fundamentales de profundidad líderes muestran diversas preferencias de capa bajo entrada RGB estándar, lo que indica que la misma geometría en capas puede resolverse de manera diferente entre modelos. Además, descubrimos que el Prompting Visual Laplaciano (PVL), una transformación espectral de entrada sin entrenamiento, puede cambiar sustancialmente la capa reportada para ciertos modelos congelados. El par RGB/PVL más fuerte, DAv2-L, alcanza un 75.5% de ML-SRA. Estos resultados sugieren que los modelos fundamentales de profundidad pueden expresar hipótesis geométricas complementarias que la inferencia RGB estándar deja sin expresar. Invitamos a la comunidad a repensar la supervisión y evaluación de profundidad a través de una lente consciente de la ambigüedad, donde las múltiples interpretaciones 3D válidas se traten como estructura geométrica que debe ser medida, preservada y expresada.

English

A faithful 3D world representation should account for layered geometry, where a single camera ray may contain multiple visible and geometrically valid surfaces. Monocular depth estimation, however, reduces this structure to one scalar depth per pixel. Transparent scenes make this ambiguity measurable: the same ray can pass through foreground glass and observe the background, turning the supervised target into a convention of annotation, data, and training rather than a scene-intrinsic truth. A learned predictor exposes this convention as its depth-layer preference. We introduce MultiDepth-3k (MD-3k), a sparse two-layer ordinal benchmark for measuring depth-layer preference and multi-layer spatial relationship accuracy (ML-SRA). On MD-3k, leading depth foundation models exhibit diverse layer preferences under standard RGB input, showing that the same layered geometry can be resolved differently across models. We further find that Laplacian Visual Prompting (LVP), a training-free spectral input transformation, can substantially change the reported layer for certain frozen models. The strongest RGB/LVP pair, DAv2-L, reaches 75.5% ML-SRA. These results suggest that depth foundation models may express complementary geometric hypotheses that standard RGB inference leaves unexpressed. We invite the community to rethink depth supervision and evaluation through an ambiguity-aware lens, where multiple valid 3D interpretations are treated as geometric structure to be measured, preserved, and expressed.