Глубинная лаборатория: от частичного к полному

DepthLab: From Partial to Complete

December 24, 2024

Авторы: Zhiheng Liu, Ka Leong Cheng, Qiuyu Wang, Shuzhe Wang, Hao Ouyang, Bin Tan, Kai Zhu, Yujun Shen, Qifeng Chen, Ping Luo

cs.AI

Аннотация

Отсутствующие значения остаются общей проблемой для данных глубины во всех их разнообразных областях применения, обусловленной различными причинами, такими как неполное сбор данных и изменение перспективы. В данной работе преодолевается эта проблема с помощью DepthLab, модели восстановления глубины на основе диффузии изображения. Наша модель обладает двумя значительными преимуществами: (1) она демонстрирует устойчивость к областям с недостаточной глубиной, обеспечивая надежное восстановление как для непрерывных областей, так и для изолированных точек, и (2) она точно сохраняет согласованность масштаба с известной глубиной при заполнении отсутствующих значений. Основываясь на этих преимуществах, наш подход доказывает свою ценность в различных задачах, включая восстановление трехмерных сцен, генерацию текста в трехмерные сцены, реконструкцию с разреженным видом с помощью DUST3R и восстановление глубины LiDAR, превосходя текущие решения как по числовым показателям, так и по качеству визуализации. Наша страница проекта с исходным кодом доступна по адресу https://johanan528.github.io/depthlab_web/.

English

Missing values remain a common challenge for depth data across its wide range of applications, stemming from various causes like incomplete data acquisition and perspective alteration. This work bridges this gap with DepthLab, a foundation depth inpainting model powered by image diffusion priors. Our model features two notable strengths: (1) it demonstrates resilience to depth-deficient regions, providing reliable completion for both continuous areas and isolated points, and (2) it faithfully preserves scale consistency with the conditioned known depth when filling in missing values. Drawing on these advantages, our approach proves its worth in various downstream tasks, including 3D scene inpainting, text-to-3D scene generation, sparse-view reconstruction with DUST3R, and LiDAR depth completion, exceeding current solutions in both numerical performance and visual quality. Our project page with source code is available at https://johanan528.github.io/depthlab_web/.