Eine Szene, zwei Tiefen: Untersuchung geometrischer Ambiguität in monokularen Grundlagenmodellen

Zusammenfassung

Eine getreue 3D-Weltdarstellung sollte geschichtete Geometrie berücksichtigen, bei der ein einzelner Kamerastrahl mehrere sichtbare und geometrisch gültige Oberflächen enthalten kann. Monokulare Tiefenschätzung reduziert diese Struktur jedoch auf eine skalare Tiefe pro Pixel. Transparente Szenen machen diese Mehrdeutigkeit messbar: Der gleiche Strahl kann durch Vordergrundglas hindurchgehen und den Hintergrund beobachten, wodurch das überwachte Ziel zu einer Konvention aus Annotation, Daten und Training wird, anstatt zu einer szenenimmanenten Wahrheit. Ein gelernter Prädiktor legt diese Konvention als seine Tiefenschichtpräferenz offen. Wir stellen MultiDepth-3k (MD-3k) vor, einen sparsen zweischichtigen ordinalen Benchmark zur Messung der Tiefenschichtpräferenz und der Mehrschicht-Raumbeziehungsgenauigkeit (ML-SRA). Auf MD-3k zeigen führende Tiefen-Grundlagenmodelle unter standardmäßigem RGB-Eingang unterschiedliche Schichtpräferenzen, was zeigt, dass dieselbe geschichtete Geometrie modelübergreifend unterschiedlich aufgelöst werden kann. Wir stellen ferner fest, dass Laplacian Visual Prompting (LVP), eine trainingsfreie spektrale Eingangstransformation, die berichtete Schicht für bestimmte eingefrorene Modelle erheblich verändern kann. Das stärkste RGB/LVP-Paar, DAv2-L, erreicht 75,5 % ML-SRA. Diese Ergebnisse deuten darauf hin, dass Tiefen-Grundlagenmodelle komplementäre geometrische Hypothesen ausdrücken können, die die standardmäßige RGB-Inferenz unausgedrückt lässt. Wir laden die Gemeinschaft ein, Tiefenüberwachung und -bewertung durch eine mehrdeutigkeitsbewusste Linse zu überdenken, bei der mehrere gültige 3D-Interpretationen als geometrische Struktur behandelt werden, die gemessen, bewahrt und ausgedrückt werden soll.

English

A faithful 3D world representation should account for layered geometry, where a single camera ray may contain multiple visible and geometrically valid surfaces. Monocular depth estimation, however, reduces this structure to one scalar depth per pixel. Transparent scenes make this ambiguity measurable: the same ray can pass through foreground glass and observe the background, turning the supervised target into a convention of annotation, data, and training rather than a scene-intrinsic truth. A learned predictor exposes this convention as its depth-layer preference. We introduce MultiDepth-3k (MD-3k), a sparse two-layer ordinal benchmark for measuring depth-layer preference and multi-layer spatial relationship accuracy (ML-SRA). On MD-3k, leading depth foundation models exhibit diverse layer preferences under standard RGB input, showing that the same layered geometry can be resolved differently across models. We further find that Laplacian Visual Prompting (LVP), a training-free spectral input transformation, can substantially change the reported layer for certain frozen models. The strongest RGB/LVP pair, DAv2-L, reaches 75.5% ML-SRA. These results suggest that depth foundation models may express complementary geometric hypotheses that standard RGB inference leaves unexpressed. We invite the community to rethink depth supervision and evaluation through an ambiguity-aware lens, where multiple valid 3D interpretations are treated as geometric structure to be measured, preserved, and expressed.