DepthLab: Von Teilweise zu Vollständig

DepthLab: From Partial to Complete

December 24, 2024

Autoren: Zhiheng Liu, Ka Leong Cheng, Qiuyu Wang, Shuzhe Wang, Hao Ouyang, Bin Tan, Kai Zhu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Zusammenfassung

Fehlende Werte bleiben eine häufige Herausforderung für Tiefendaten in einem breiten Anwendungsbereich, die aus verschiedenen Gründen wie unvollständiger Datenerfassung und Perspektivenänderung resultieren. Diese Arbeit überbrückt diese Lücke mit DepthLab, einem grundlegenden Tiefen-Inpainting-Modell, das auf Bild-Diffusionsprioritäten basiert. Unser Modell weist zwei bemerkenswerte Stärken auf: (1) Es zeigt eine Widerstandsfähigkeit gegenüber tiefendefizienten Regionen und bietet eine zuverlässige Vervollständigung sowohl für kontinuierliche Bereiche als auch für isolierte Punkte, und (2) es bewahrt maßstabsgetreu die Skalenkonsistenz mit der bedingten bekannten Tiefe beim Ausfüllen fehlender Werte. Basierend auf diesen Vorteilen zeigt unser Ansatz seinen Wert in verschiedenen nachgelagerten Aufgaben, einschließlich 3D-Szenen-Inpainting, Text-zu-3D-Szenen-Generierung, Sparse-View-Rekonstruktion mit DUST3R und LiDAR-Tiefenvervollständigung, wobei er aktuelle Lösungen sowohl in numerischer Leistung als auch in visueller Qualität übertrifft. Unsere Projektseite mit dem Quellcode ist unter https://johanan528.github.io/depthlab_web/ verfügbar.

English

Missing values remain a common challenge for depth data across its wide range of applications, stemming from various causes like incomplete data acquisition and perspective alteration. This work bridges this gap with DepthLab, a foundation depth inpainting model powered by image diffusion priors. Our model features two notable strengths: (1) it demonstrates resilience to depth-deficient regions, providing reliable completion for both continuous areas and isolated points, and (2) it faithfully preserves scale consistency with the conditioned known depth when filling in missing values. Drawing on these advantages, our approach proves its worth in various downstream tasks, including 3D scene inpainting, text-to-3D scene generation, sparse-view reconstruction with DUST3R, and LiDAR depth completion, exceeding current solutions in both numerical performance and visual quality. Our project page with source code is available at https://johanan528.github.io/depthlab_web/.