Une scène, deux profondeurs : sonder l'ambiguïté géométrique dans les modèles fondamentaux monoculaires

Résumé

Une représentation fidèle du monde en 3D doit prendre en compte la géométrie en couches, où un même rayon de caméra peut traverser plusieurs surfaces visibles et géométriquement valides. L'estimation de profondeur monoculaire réduit pourtant cette structure à une seule profondeur scalaire par pixel. Les scènes transparentes rendent cette ambiguïté mesurable : un même rayon peut traverser un verre au premier plan et observer l'arrière-plan, transformant la cible supervisée en une convention d'annotation, de données et d'entraînement plutôt qu'en une vérité intrinsèque à la scène. Un prédicteur appris révèle cette convention sous la forme de sa préférence de couche de profondeur. Nous introduisons MultiDepth-3k (MD-3k), un référentiel ordinal bicouche parcimonieux permettant de mesurer la préférence de couche de profondeur et la précision des relations spatiales multicouches (ML-SRA). Sur MD-3k, les modèles de base de profondeur dominants présentent des préférences de couche variées sous une entrée RVB standard, montrant qu'une même géométrie en couches peut être résolue différemment selon les modèles. Nous constatons en outre que l'Invitation Visuelle Laplacienne (LVP), une transformation spectrale d'entrée sans entraînement, peut modifier substantiellement la couche rapportée pour certains modèles figés. La paire RVB/LVP la plus performante, DAv2-L, atteint 75,5 % de ML-SRA. Ces résultats suggèrent que les modèles de base de profondeur peuvent exprimer des hypothèses géométriques complémentaires que l'inférence RVB standard laisse inexprimées. Nous invitons la communauté à repenser la supervision et l'évaluation de la profondeur à travers un prisme tenant compte de l'ambiguïté, où les multiples interprétations 3D valides sont traitées comme une structure géométrique à mesurer, préserver et exprimer.

English

A faithful 3D world representation should account for layered geometry, where a single camera ray may contain multiple visible and geometrically valid surfaces. Monocular depth estimation, however, reduces this structure to one scalar depth per pixel. Transparent scenes make this ambiguity measurable: the same ray can pass through foreground glass and observe the background, turning the supervised target into a convention of annotation, data, and training rather than a scene-intrinsic truth. A learned predictor exposes this convention as its depth-layer preference. We introduce MultiDepth-3k (MD-3k), a sparse two-layer ordinal benchmark for measuring depth-layer preference and multi-layer spatial relationship accuracy (ML-SRA). On MD-3k, leading depth foundation models exhibit diverse layer preferences under standard RGB input, showing that the same layered geometry can be resolved differently across models. We further find that Laplacian Visual Prompting (LVP), a training-free spectral input transformation, can substantially change the reported layer for certain frozen models. The strongest RGB/LVP pair, DAv2-L, reaches 75.5% ML-SRA. These results suggest that depth foundation models may express complementary geometric hypotheses that standard RGB inference leaves unexpressed. We invite the community to rethink depth supervision and evaluation through an ambiguity-aware lens, where multiple valid 3D interpretations are treated as geometric structure to be measured, preserved, and expressed.