DepthLab: De Parcial a Completo

DepthLab: From Partial to Complete

December 24, 2024

Autores: Zhiheng Liu, Ka Leong Cheng, Qiuyu Wang, Shuzhe Wang, Hao Ouyang, Bin Tan, Kai Zhu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Resumen

Los valores faltantes siguen siendo un desafío común para los datos de profundidad en su amplio rango de aplicaciones, derivados de diversas causas como la adquisición de datos incompletos y la alteración de la perspectiva. Este trabajo aborda esta brecha con DepthLab, un modelo de rellenado de profundidad basado en difusión de imágenes. Nuestro modelo presenta dos fortalezas notables: (1) demuestra resistencia a regiones con falta de profundidad, proporcionando una completación confiable tanto para áreas continuas como para puntos aislados, y (2) conserva fielmente la consistencia de escala con la profundidad conocida condicionada al rellenar los valores faltantes. Basándonos en estas ventajas, nuestro enfoque demuestra su valía en varias tareas secundarias, incluyendo rellenado de escenas 3D, generación de escenas 3D a partir de texto, reconstrucción de vistas dispersas con DUST3R y completación de profundidad LiDAR, superando a las soluciones actuales tanto en rendimiento numérico como en calidad visual. Nuestra página de proyecto con el código fuente está disponible en https://johanan528.github.io/depthlab_web/.

English

Missing values remain a common challenge for depth data across its wide range of applications, stemming from various causes like incomplete data acquisition and perspective alteration. This work bridges this gap with DepthLab, a foundation depth inpainting model powered by image diffusion priors. Our model features two notable strengths: (1) it demonstrates resilience to depth-deficient regions, providing reliable completion for both continuous areas and isolated points, and (2) it faithfully preserves scale consistency with the conditioned known depth when filling in missing values. Drawing on these advantages, our approach proves its worth in various downstream tasks, including 3D scene inpainting, text-to-3D scene generation, sparse-view reconstruction with DUST3R, and LiDAR depth completion, exceeding current solutions in both numerical performance and visual quality. Our project page with source code is available at https://johanan528.github.io/depthlab_web/.