Глубинные панорамы Any: Базовая модель для оценки глубины панорамных изображений
Depth Any Panoramas: A Foundation Model for Panoramic Depth Estimation
December 18, 2025
Авторы: Xin Lin, Meixi Song, Dizhe Zhang, Wenxuan Lu, Haodong Li, Bo Du, Ming-Hsuan Yang, Truong Nguyen, Lu Qi
cs.AI
Аннотация
В данной работе мы представляем панорамную фоновую модель метрической глубины, которая обобщается для различных дистанций съемки. Мы исследуем парадигму "данные в цикле" с точки зрения как построения данных, так и проектирования архитектуры. Мы собрали масштабный набор данных, объединив публичные датасеты, высококачественные синтетические данные из нашего симулятора UE5 и моделей "текст-в-изображение", а также реальные панорамные изображения из интернета. Для сокращения междоменного разрыва между данными для помещений/улиц и синтетическими/реальными данными мы внедряем трехэтапный конвейер курации псевдо-разметки для генерации достоверной эталонной истины для немаркированных изображений. Для модели мы используем DINOv3-Large в качестве основы благодаря ее сильной предобученной обобщающей способности и вводим подключаемую голову диапазонной маски, оптимизацию с фокусом на резкости и оптимизацию с фокусом на геометрии для повышения устойчивости к varying distances и обеспечения геометрической согласованности между видами. Эксперименты на нескольких бенчмарках (например, Stanford2D3D, Matterport3D и Deep360) демонстрируют высокую производительность и обобщение "с нуля", с особенно robust и стабильными метрическими предсказаниями в разнообразных реальных сценах. Страница проекта доступна по адресу: https://insta360-research-team.github.io/DAP_website/.
English
In this work, we present a panoramic metric depth foundation model that generalizes across diverse scene distances. We explore a data-in-the-loop paradigm from the view of both data construction and framework design. We collect a large-scale dataset by combining public datasets, high-quality synthetic data from our UE5 simulator and text-to-image models, and real panoramic images from the web. To reduce domain gaps between indoor/outdoor and synthetic/real data, we introduce a three-stage pseudo-label curation pipeline to generate reliable ground truth for unlabeled images. For the model, we adopt DINOv3-Large as the backbone for its strong pre-trained generalization, and introduce a plug-and-play range mask head, sharpness-centric optimization, and geometry-centric optimization to improve robustness to varying distances and enforce geometric consistency across views. Experiments on multiple benchmarks (e.g., Stanford2D3D, Matterport3D, and Deep360) demonstrate strong performance and zero-shot generalization, with particularly robust and stable metric predictions in diverse real-world scenes. The project page can be found at: https://insta360-research-team.github.io/DAP_website/ {https://insta360-research-team.github.io/DAP\_website/}