Depth Anywhere: Mejorando la Estimación de Profundidad Monocular en 360° mediante Distorsión de Perspectiva y Aumento de Datos No Etiquetados

Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation

June 18, 2024

Autores: Ning-Hsu Wang, Yu-Lun Liu

cs.AI

Resumen

La estimación precisa de la profundidad en imágenes de 360 grados es crucial para aplicaciones de realidad virtual, navegación autónoma y medios inmersivos. Los métodos existentes de estimación de profundidad diseñados para imágenes de perspectiva fallan cuando se aplican a imágenes de 360 grados debido a las diferentes proyecciones de cámara y distorsiones, mientras que los métodos específicos para 360 grados tienen un rendimiento inferior debido a la falta de pares de datos etiquetados. Proponemos un nuevo marco de estimación de profundidad que utiliza de manera efectiva datos no etiquetados de 360 grados. Nuestro enfoque emplea modelos de estimación de profundidad de perspectiva de última generación como modelos maestros para generar etiquetas pseudo a través de una técnica de proyección de cubo de seis caras, permitiendo una etiquetación eficiente de la profundidad en imágenes de 360 grados. Este método aprovecha la creciente disponibilidad de grandes conjuntos de datos. Nuestro enfoque incluye dos etapas principales: la generación de máscaras fuera de línea para regiones inválidas y un régimen de entrenamiento conjunto semi-supervisado en línea. Probamos nuestro enfoque en conjuntos de datos de referencia como Matterport3D y Stanford2D3D, mostrando mejoras significativas en la precisión de la estimación de profundidad, particularmente en escenarios de cero disparos. Nuestra propuesta de canalización de entrenamiento puede mejorar cualquier estimador de profundidad monocular de 360 grados y demuestra una transferencia efectiva de conocimiento a través de diferentes proyecciones de cámara y tipos de datos. Consulte nuestra página del proyecto para ver los resultados: https://albert100121.github.io/Depth-Anywhere/

English

Accurately estimating depth in 360-degree imagery is crucial for virtual reality, autonomous navigation, and immersive media applications. Existing depth estimation methods designed for perspective-view imagery fail when applied to 360-degree images due to different camera projections and distortions, whereas 360-degree methods perform inferior due to the lack of labeled data pairs. We propose a new depth estimation framework that utilizes unlabeled 360-degree data effectively. Our approach uses state-of-the-art perspective depth estimation models as teacher models to generate pseudo labels through a six-face cube projection technique, enabling efficient labeling of depth in 360-degree images. This method leverages the increasing availability of large datasets. Our approach includes two main stages: offline mask generation for invalid regions and an online semi-supervised joint training regime. We tested our approach on benchmark datasets such as Matterport3D and Stanford2D3D, showing significant improvements in depth estimation accuracy, particularly in zero-shot scenarios. Our proposed training pipeline can enhance any 360 monocular depth estimator and demonstrates effective knowledge transfer across different camera projections and data types. See our project page for results: https://albert100121.github.io/Depth-Anywhere/