DepthLab : De Partiel à Complet

DepthLab: From Partial to Complete

December 24, 2024

Auteurs: Zhiheng Liu, Ka Leong Cheng, Qiuyu Wang, Shuzhe Wang, Hao Ouyang, Bin Tan, Kai Zhu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Résumé

Les valeurs manquantes restent un défi courant pour les données de profondeur dans une large gamme d'applications, provenant de diverses causes telles que l'acquisition de données incomplète et l'altération de la perspective. Ce travail comble cette lacune avec DepthLab, un modèle de complétion de profondeur fondamental alimenté par des priorités de diffusion d'image. Notre modèle présente deux forces notables : (1) il démontre une résilience aux régions à faible profondeur, offrant une complétion fiable à la fois pour les zones continues et les points isolés, et (2) il préserve fidèlement la cohérence d'échelle avec la profondeur connue conditionnée lors du remplissage des valeurs manquantes. En tirant parti de ces avantages, notre approche prouve sa valeur dans diverses tâches ultérieures, notamment la complétion de scènes 3D, la génération de scènes 3D à partir de texte, la reconstruction à vue clairsemée avec DUST3R, et la complétion de profondeur LiDAR, dépassant les solutions actuelles à la fois en performances numériques et en qualité visuelle. Notre page de projet avec le code source est disponible sur https://johanan528.github.io/depthlab_web/.

English

Missing values remain a common challenge for depth data across its wide range of applications, stemming from various causes like incomplete data acquisition and perspective alteration. This work bridges this gap with DepthLab, a foundation depth inpainting model powered by image diffusion priors. Our model features two notable strengths: (1) it demonstrates resilience to depth-deficient regions, providing reliable completion for both continuous areas and isolated points, and (2) it faithfully preserves scale consistency with the conditioned known depth when filling in missing values. Drawing on these advantages, our approach proves its worth in various downstream tasks, including 3D scene inpainting, text-to-3D scene generation, sparse-view reconstruction with DUST3R, and LiDAR depth completion, exceeding current solutions in both numerical performance and visual quality. Our project page with source code is available at https://johanan528.github.io/depthlab_web/.