**Depth Any Panoramas: 파노라마 깊이 추정을 위한 파운데이션 모델**

초록

본 연구에서는 다양한 장면 거리에 걸쳐 일반화되는 파노라믹 계측 깊이 파운데이션 모델을 제시한다. 데이터 구축과 프레임워크 설계 관점에서 데이터-인-더-루프 패러다임을 탐구한다. 공개 데이터셋, UE5 시뮬레이터 및 텍스트-이미지 모델에서 생성한 고품질 합성 데이터, 웹에서 수집한 실제 파노라믹 이미지를 결합하여 대규모 데이터셋을 구축하였다. 실내/실외 및 합성/실제 데이터 간 도메인 격차를 줄이기 위해, 레이블이 없는 이미지에 대한 신뢰할 수 있는 ground truth를 생성하는 3단계 pseudo-label 정제 파이프라인을 도입했다. 모델에서는 강력한 사전 학습 일반화 성능을 보이는 DINOv3-Large를 백본으로 채택하고, 다양한 거리에 대한 견고성을 향상시키고 시점 간 기하학적 일관성을 강화하기 위해 플러그 앤 플레이 범위 마스크 헤드, 선명도 중심 최적화, 기하학 중심 최적화를 도입하였다. 여러 벤치마크(Stanford2D3D, Matterport3D, Deep360 등)에서의 실험을 통해 강력한 성능과 제로샷 일반화 능력을 입증하였으며, 특히 다양한 실제 환경에서 매우 견고하고 안정적인 계측 예측 결과를 보여주었다. 프로젝트 페이지는 https://insta360-research-team.github.io/DAP_website/ 에서 확인할 수 있다.

English

In this work, we present a panoramic metric depth foundation model that generalizes across diverse scene distances. We explore a data-in-the-loop paradigm from the view of both data construction and framework design. We collect a large-scale dataset by combining public datasets, high-quality synthetic data from our UE5 simulator and text-to-image models, and real panoramic images from the web. To reduce domain gaps between indoor/outdoor and synthetic/real data, we introduce a three-stage pseudo-label curation pipeline to generate reliable ground truth for unlabeled images. For the model, we adopt DINOv3-Large as the backbone for its strong pre-trained generalization, and introduce a plug-and-play range mask head, sharpness-centric optimization, and geometry-centric optimization to improve robustness to varying distances and enforce geometric consistency across views. Experiments on multiple benchmarks (e.g., Stanford2D3D, Matterport3D, and Deep360) demonstrate strong performance and zero-shot generalization, with particularly robust and stable metric predictions in diverse real-world scenes. The project page can be found at: https://insta360-research-team.github.io/DAP_website/ {https://insta360-research-team.github.io/DAP\_website/}

Depth Any Panoramas: 파노라마 깊이 추정을 위한 파운데이션 모델

Depth Any Panoramas: A Foundation Model for Panoramic Depth Estimation

초록

Support