Dieptelab: Van Gedeeltelijk naar Compleet

DepthLab: From Partial to Complete

December 24, 2024

Auteurs: Zhiheng Liu, Ka Leong Cheng, Qiuyu Wang, Shuzhe Wang, Hao Ouyang, Bin Tan, Kai Zhu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Samenvatting

Ontbrekende waarden blijven een veelvoorkomende uitdaging voor dieptedata in een breed scala van toepassingen, voortkomend uit verschillende oorzaken zoals onvolledige gegevensverzameling en perspectiefverandering. Dit werk overbrugt deze kloof met DepthLab, een basis dieptevervullingsmodel aangedreven door beeldverspreidingsprioriteiten. Ons model heeft twee opmerkelijke sterke punten: (1) het toont veerkracht tegenover dieptetekortgebieden, waardoor betrouwbare voltooiing mogelijk is voor zowel continue gebieden als geïsoleerde punten, en (2) het behoudt nauwkeurig de schaalconsistentie met de geconditioneerde bekende diepte bij het invullen van ontbrekende waarden. Puttend uit deze voordelen, bewijst onze benadering haar waarde in verschillende downstreamtaken, waaronder 3D-scenevervulling, tekst-naar-3D-scene-generatie, schaars-beeldreconstructie met DUST3R, en LiDAR-dieptevervulling, waarbij de huidige oplossingen worden overtroffen op zowel numerieke prestaties als visuele kwaliteit. Onze projectpagina met broncode is beschikbaar op https://johanan528.github.io/depthlab_web/.

English

Missing values remain a common challenge for depth data across its wide range of applications, stemming from various causes like incomplete data acquisition and perspective alteration. This work bridges this gap with DepthLab, a foundation depth inpainting model powered by image diffusion priors. Our model features two notable strengths: (1) it demonstrates resilience to depth-deficient regions, providing reliable completion for both continuous areas and isolated points, and (2) it faithfully preserves scale consistency with the conditioned known depth when filling in missing values. Drawing on these advantages, our approach proves its worth in various downstream tasks, including 3D scene inpainting, text-to-3D scene generation, sparse-view reconstruction with DUST3R, and LiDAR depth completion, exceeding current solutions in both numerical performance and visual quality. Our project page with source code is available at https://johanan528.github.io/depthlab_web/.