Depth Anywhere: Verbetering van 360 Monoculaire Diepteschatting via Perspectiefdistillatie en OngeLabelde Data-Augmentatie

Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation

June 18, 2024

Auteurs: Ning-Hsu Wang, Yu-Lun Liu

cs.AI

Samenvatting

Het nauwkeurig schatten van diepte in 360-graden beelden is cruciaal voor toepassingen zoals virtual reality, autonome navigatie en immersieve media. Bestaande methoden voor diepteschatting die zijn ontworpen voor perspectiefbeelden falen wanneer ze worden toegepast op 360-graden beelden vanwege verschillende cameraprojecties en vervormingen, terwijl 360-graden methoden onderpresteren door een gebrek aan gelabelde dataparen. Wij stellen een nieuw raamwerk voor diepteschatting voor dat ongelabelde 360-graden data effectief benut. Onze aanpak maakt gebruik van state-of-the-art perspectief diepteschattingsmodellen als leraarmodellen om pseudo-labels te genereren via een zesvlakkige kubusprojectietechniek, waardoor efficiënte labeling van diepte in 360-graden beelden mogelijk wordt. Deze methode maakt gebruik van de toenemende beschikbaarheid van grote datasets. Onze aanpak omvat twee hoofdstadia: offline maskergeneratie voor ongeldige regio's en een online semi-gesuperviseerd gezamenlijk trainingsregime. We hebben onze aanpak getest op benchmarkdatasets zoals Matterport3D en Stanford2D3D, waarbij significante verbeteringen in de nauwkeurigheid van diepteschatting werden aangetoond, met name in zero-shot scenario's. Onze voorgestelde trainingspipeline kan elke 360 monocular diepteschatter verbeteren en toont effectieve kennisoverdracht aan tussen verschillende cameraprojecties en datatypes. Bekijk onze projectpagina voor resultaten: https://albert100121.github.io/Depth-Anywhere/

English

Accurately estimating depth in 360-degree imagery is crucial for virtual reality, autonomous navigation, and immersive media applications. Existing depth estimation methods designed for perspective-view imagery fail when applied to 360-degree images due to different camera projections and distortions, whereas 360-degree methods perform inferior due to the lack of labeled data pairs. We propose a new depth estimation framework that utilizes unlabeled 360-degree data effectively. Our approach uses state-of-the-art perspective depth estimation models as teacher models to generate pseudo labels through a six-face cube projection technique, enabling efficient labeling of depth in 360-degree images. This method leverages the increasing availability of large datasets. Our approach includes two main stages: offline mask generation for invalid regions and an online semi-supervised joint training regime. We tested our approach on benchmark datasets such as Matterport3D and Stanford2D3D, showing significant improvements in depth estimation accuracy, particularly in zero-shot scenarios. Our proposed training pipeline can enhance any 360 monocular depth estimator and demonstrates effective knowledge transfer across different camera projections and data types. See our project page for results: https://albert100121.github.io/Depth-Anywhere/