Depth Anywhere: Miglioramento della stima della profondità monoculare a 360° tramite distillazione prospettica e aumento dei dati non etichettati

Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation

June 18, 2024

Autori: Ning-Hsu Wang, Yu-Lun Liu

cs.AI

Abstract

La stima accurata della profondità nelle immagini a 360 gradi è fondamentale per applicazioni di realtà virtuale, navigazione autonoma e media immersivi. I metodi esistenti di stima della profondità progettati per immagini in prospettiva falliscono quando applicati a immagini a 360 gradi a causa delle diverse proiezioni della fotocamera e delle distorsioni, mentre i metodi specifici per 360 gradi ottengono risultati inferiori a causa della mancanza di coppie di dati etichettati. Proponiamo un nuovo framework di stima della profondità che utilizza efficacemente dati a 360 gradi non etichettati. Il nostro approccio impiega modelli all'avanguardia di stima della profondità in prospettiva come modelli insegnanti per generare etichette pseudo-attraverso una tecnica di proiezione a sei facce cubiche, consentendo un'etichettatura efficiente della profondità nelle immagini a 360 gradi. Questo metodo sfrutta la crescente disponibilità di grandi dataset. Il nostro approccio include due fasi principali: la generazione offline di maschere per le regioni non valide e un regime di addestramento congiunto semi-supervisionato online. Abbiamo testato il nostro approccio su dataset di riferimento come Matterport3D e Stanford2D3D, mostrando miglioramenti significativi nell'accuratezza della stima della profondità, specialmente in scenari zero-shot. La nostra pipeline di addestramento proposta può migliorare qualsiasi stimatore di profondità monoculare a 360 gradi e dimostra un trasferimento efficace della conoscenza attraverso diverse proiezioni della fotocamera e tipi di dati. Consulta la nostra pagina del progetto per i risultati: https://albert100121.github.io/Depth-Anywhere/

English

Accurately estimating depth in 360-degree imagery is crucial for virtual reality, autonomous navigation, and immersive media applications. Existing depth estimation methods designed for perspective-view imagery fail when applied to 360-degree images due to different camera projections and distortions, whereas 360-degree methods perform inferior due to the lack of labeled data pairs. We propose a new depth estimation framework that utilizes unlabeled 360-degree data effectively. Our approach uses state-of-the-art perspective depth estimation models as teacher models to generate pseudo labels through a six-face cube projection technique, enabling efficient labeling of depth in 360-degree images. This method leverages the increasing availability of large datasets. Our approach includes two main stages: offline mask generation for invalid regions and an online semi-supervised joint training regime. We tested our approach on benchmark datasets such as Matterport3D and Stanford2D3D, showing significant improvements in depth estimation accuracy, particularly in zero-shot scenarios. Our proposed training pipeline can enhance any 360 monocular depth estimator and demonstrates effective knowledge transfer across different camera projections and data types. See our project page for results: https://albert100121.github.io/Depth-Anywhere/