하나의 장면, 두 개의 깊이: 단안 기초 모델에서의 기하학적 모호성 탐구

초록

정확한 3D 세계 표현은 단일 카메라 광선이 여러 개의 가시적이면서 기하학적으로 타당한 표면을 포함할 수 있는 층상 기하 구조를 반영해야 한다. 그러나 단안 깊이 추정은 이러한 구조를 픽셀당 하나의 스칼라 깊이로 축소한다. 투명 장면은 이러한 모호성을 측정 가능하게 만든다. 동일한 광선이 전경 유리를 통과하여 배경을 관찰할 수 있으므로, 지도 학습의 목표는 장면 자체의 본질적 진리가 아닌 주석, 데이터, 학습의 관습으로 전환된다. 학습된 예측기는 이러한 관습을 깊이 레이어 선호도로 드러낸다. 본 논문에서는 깊이 레이어 선호도와 다중 레이어 공간 관계 정확도(ML-SRA)를 측정하기 위한 희소 이중 레이어 순서형 벤치마크인 MultiDepth-3k (MD-3k)를 소개한다. MD-3k에서 주요 깊이 기초 모델들은 표준 RGB 입력 하에서 다양한 레이어 선호도를 보이며, 동일한 층상 기하 구조가 모델마다 다르게 해석될 수 있음을 보여준다. 또한, 학습이 필요 없는 스펙트럼 입력 변환인 라플라시안 시각적 프롬프팅(LVP)이 특정 고정 모델의 보고된 레이어를 상당히 변경할 수 있음을 발견했다. 가장 강력한 RGB/LVP 쌍인 DAv2-L은 75.5%의 ML-SRA를 달성한다. 이러한 결과는 깊이 기초 모델이 표준 RGB 추론에서 표현되지 않은 상보적 기하 가설을 표현할 수 있음을 시사한다. 우리는 연구 커뮤니티가 모호성 인식 렌즈를 통해 깊이 감독 및 평가를 재고하도록 초대한다. 여기서 다수의 타당한 3D 해석은 측정, 보존, 표현되어야 할 기하 구조로 취급된다.

English

A faithful 3D world representation should account for layered geometry, where a single camera ray may contain multiple visible and geometrically valid surfaces. Monocular depth estimation, however, reduces this structure to one scalar depth per pixel. Transparent scenes make this ambiguity measurable: the same ray can pass through foreground glass and observe the background, turning the supervised target into a convention of annotation, data, and training rather than a scene-intrinsic truth. A learned predictor exposes this convention as its depth-layer preference. We introduce MultiDepth-3k (MD-3k), a sparse two-layer ordinal benchmark for measuring depth-layer preference and multi-layer spatial relationship accuracy (ML-SRA). On MD-3k, leading depth foundation models exhibit diverse layer preferences under standard RGB input, showing that the same layered geometry can be resolved differently across models. We further find that Laplacian Visual Prompting (LVP), a training-free spectral input transformation, can substantially change the reported layer for certain frozen models. The strongest RGB/LVP pair, DAv2-L, reaches 75.5% ML-SRA. These results suggest that depth foundation models may express complementary geometric hypotheses that standard RGB inference leaves unexpressed. We invite the community to rethink depth supervision and evaluation through an ambiguity-aware lens, where multiple valid 3D interpretations are treated as geometric structure to be measured, preserved, and expressed.