Tiefe überall: Verbesserung der monokularen Tiefenschätzung in 360-Grad-Ansichten durch Perspektiven-Destillation und Erweiterung mit unbeschrifteten Daten

Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation

June 18, 2024

Autoren: Ning-Hsu Wang, Yu-Lun Liu

cs.AI

Zusammenfassung

Die genaue Schätzung der Tiefe in 360-Grad-Bildern ist entscheidend für Virtual Reality, autonome Navigation und immersive Medienanwendungen. Bestehende Tiefenschätzmethoden, die für perspektivische Bilder entwickelt wurden, versagen, wenn sie auf 360-Grad-Bilder angewendet werden, aufgrund unterschiedlicher Kameraprojektionen und Verzerrungen, während 360-Grad-Methoden aufgrund des Mangels an beschrifteten Datenpaaren unterlegen sind. Wir schlagen ein neues Tiefenschätzungsframework vor, das unlabeled 360-Grad-Daten effektiv nutzt. Unser Ansatz verwendet modernste perspektivische Tiefenschätzmodelle als Lehrmodelle, um Pseudomarkierungen durch eine Sechsflächenwürfelprojektionstechnik zu generieren, die eine effiziente Beschriftung der Tiefe in 360-Grad-Bildern ermöglicht. Diese Methode nutzt die zunehmende Verfügbarkeit großer Datensätze. Unser Ansatz umfasst zwei Hauptphasen: die Offline-Maskenerzeugung für ungültige Regionen und ein Online-Semi-supervised-Joint-Training-Regime. Wir haben unseren Ansatz an Benchmark-Datensätzen wie Matterport3D und Stanford2D3D getestet und dabei signifikante Verbesserungen bei der Tiefenschätzungsgenauigkeit gezeigt, insbesondere in Zero-Shot-Szenarien. Unsere vorgeschlagene Trainingspipeline kann jeden 360-Monokulartiefenschätzer verbessern und zeigt eine effektive Wissensübertragung über verschiedene Kameraprojektionen und Datentypen hinweg. Sehen Sie unsere Projektseite für Ergebnisse: https://albert100121.github.io/Depth-Anywhere/

English

Accurately estimating depth in 360-degree imagery is crucial for virtual reality, autonomous navigation, and immersive media applications. Existing depth estimation methods designed for perspective-view imagery fail when applied to 360-degree images due to different camera projections and distortions, whereas 360-degree methods perform inferior due to the lack of labeled data pairs. We propose a new depth estimation framework that utilizes unlabeled 360-degree data effectively. Our approach uses state-of-the-art perspective depth estimation models as teacher models to generate pseudo labels through a six-face cube projection technique, enabling efficient labeling of depth in 360-degree images. This method leverages the increasing availability of large datasets. Our approach includes two main stages: offline mask generation for invalid regions and an online semi-supervised joint training regime. We tested our approach on benchmark datasets such as Matterport3D and Stanford2D3D, showing significant improvements in depth estimation accuracy, particularly in zero-shot scenarios. Our proposed training pipeline can enhance any 360 monocular depth estimator and demonstrates effective knowledge transfer across different camera projections and data types. See our project page for results: https://albert100121.github.io/Depth-Anywhere/