Одна сцена, две глубины: исследование геометрической неоднозначности в монокулярных фундаментальных моделях

Аннотация

Точное представление трехмерного мира должно учитывать слоистую геометрию, когда один луч камеры может содержать несколько видимых и геометрически обоснованных поверхностей. Однако монокулярная оценка глубины сводит эту структуру к одной скалярной глубине на пиксель. Прозрачные сцены делают эту неоднозначность измеримой: один и тот же луч может проходить сквозь стекло на переднем плане и наблюдать фон, превращая цель обучения с учителем в соглашение, зависящее от аннотации, данных и процедуры обучения, а не во внутренне присущую сцене истину. Обученный предиктор раскрывает это соглашение как свое предпочтение слоя глубины. Мы представляем MultiDepth-3k (MD-3k) — разреженный порядковый эталон с двумя слоями для измерения предпочтения слоя глубины и точности пространственных отношений между слоями (ML-SRA). На MD-3k ведущие фундаментальные модели глубины демонстрируют различные предпочтения слоев при стандартном RGB-входе, показывая, что одна и та же слоистая геометрия может интерпретироваться по-разному разными моделями. Мы также обнаружили, что лапласианское визуальное промптирование (LVP) — безучебное спектральное преобразование входных данных — способно существенно изменить сообщаемый слой для некоторых замороженных моделей. Наилучшая комбинация RGB/LVP, DAv2-L, достигает 75,5% ML-SRA. Эти результаты позволяют предположить, что фундаментальные модели глубины могут выражать дополнительные геометрические гипотезы, которые остаются невыраженными при стандартной RGB-инференции. Мы приглашаем сообщество пересмотреть подходы к контролю глубины и оценке через призму учета неоднозначности, где множественные допустимые трехмерные интерпретации рассматриваются как геометрическая структура, подлежащая измерению, сохранению и выражению.

English

A faithful 3D world representation should account for layered geometry, where a single camera ray may contain multiple visible and geometrically valid surfaces. Monocular depth estimation, however, reduces this structure to one scalar depth per pixel. Transparent scenes make this ambiguity measurable: the same ray can pass through foreground glass and observe the background, turning the supervised target into a convention of annotation, data, and training rather than a scene-intrinsic truth. A learned predictor exposes this convention as its depth-layer preference. We introduce MultiDepth-3k (MD-3k), a sparse two-layer ordinal benchmark for measuring depth-layer preference and multi-layer spatial relationship accuracy (ML-SRA). On MD-3k, leading depth foundation models exhibit diverse layer preferences under standard RGB input, showing that the same layered geometry can be resolved differently across models. We further find that Laplacian Visual Prompting (LVP), a training-free spectral input transformation, can substantially change the reported layer for certain frozen models. The strongest RGB/LVP pair, DAv2-L, reaches 75.5% ML-SRA. These results suggest that depth foundation models may express complementary geometric hypotheses that standard RGB inference leaves unexpressed. We invite the community to rethink depth supervision and evaluation through an ambiguity-aware lens, where multiple valid 3D interpretations are treated as geometric structure to be measured, preserved, and expressed.