Depth Anywhere: Aprimorando a Estimação de Profundidade Monocular 360° via Distilação de Perspectiva e Aumento de Dados Não Rotulados

Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation

June 18, 2024

Autores: Ning-Hsu Wang, Yu-Lun Liu

cs.AI

Resumo

A estimativa precisa de profundidade em imagens de 360 graus é crucial para aplicações de realidade virtual, navegação autônoma e mídia imersiva. Os métodos existentes de estimativa de profundidade projetados para imagens de perspectiva falham quando aplicados a imagens de 360 graus devido a diferentes projeções de câmera e distorções, enquanto os métodos específicos para 360 graus têm desempenho inferior devido à falta de pares de dados rotulados. Propomos um novo framework de estimativa de profundidade que utiliza efetivamente dados não rotulados de 360 graus. Nossa abordagem emprega modelos de estimativa de profundidade de perspectiva de última geração como modelos professores para gerar rótulos pseudo-supervisionados por meio de uma técnica de projeção cúbica de seis faces, permitindo a rotulação eficiente de profundidade em imagens de 360 graus. Esse método aproveita a crescente disponibilidade de grandes conjuntos de dados. Nossa abordagem inclui duas etapas principais: geração offline de máscaras para regiões inválidas e um regime de treinamento conjunto semi-supervisionado online. Testamos nossa abordagem em conjuntos de dados de referência, como Matterport3D e Stanford2D3D, mostrando melhorias significativas na precisão da estimativa de profundidade, especialmente em cenários zero-shot. Nosso pipeline de treinamento proposto pode aprimorar qualquer estimador de profundidade monocular de 360 graus e demonstra uma transferência eficaz de conhecimento entre diferentes projeções de câmera e tipos de dados. Veja os resultados em nossa página do projeto: https://albert100121.github.io/Depth-Anywhere/

English

Accurately estimating depth in 360-degree imagery is crucial for virtual reality, autonomous navigation, and immersive media applications. Existing depth estimation methods designed for perspective-view imagery fail when applied to 360-degree images due to different camera projections and distortions, whereas 360-degree methods perform inferior due to the lack of labeled data pairs. We propose a new depth estimation framework that utilizes unlabeled 360-degree data effectively. Our approach uses state-of-the-art perspective depth estimation models as teacher models to generate pseudo labels through a six-face cube projection technique, enabling efficient labeling of depth in 360-degree images. This method leverages the increasing availability of large datasets. Our approach includes two main stages: offline mask generation for invalid regions and an online semi-supervised joint training regime. We tested our approach on benchmark datasets such as Matterport3D and Stanford2D3D, showing significant improvements in depth estimation accuracy, particularly in zero-shot scenarios. Our proposed training pipeline can enhance any 360 monocular depth estimator and demonstrates effective knowledge transfer across different camera projections and data types. See our project page for results: https://albert100121.github.io/Depth-Anywhere/