Marigold-DC: Completado de Profundidad Monocular sin Etiquetas con Difusión Guiada

Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion

December 18, 2024

Autores: Massimiliano Viola, Kevin Qu, Nando Metzger, Bingxin Ke, Alexander Becker, Konrad Schindler, Anton Obukhov

cs.AI

Resumen

La completación de profundidad mejora las medidas de profundidad dispersas en mapas de profundidad densos guiados por una imagen convencional. Los métodos existentes para esta tarea altamente mal planteada operan en entornos estrictamente controlados y tienden a tener dificultades cuando se aplican a imágenes fuera del dominio de entrenamiento o cuando las medidas de profundidad disponibles son dispersas, distribuidas de manera irregular o de densidad variable. Inspirados por los avances recientes en la estimación de profundidad monocular, reformulamos la completación de profundidad como una generación de mapas de profundidad condicionada por la imagen guiada por medidas dispersas. Nuestro método, Marigold-DC, se basa en un modelo de difusión latente preentrenado para la estimación de profundidad monocular e incorpora las observaciones de profundidad como guía en tiempo de prueba a través de un esquema de optimización que se ejecuta en paralelo con la inferencia iterativa de difusión de desenfoque. El método muestra una excelente generalización de cero disparos en una amplia gama de entornos y maneja de manera efectiva incluso la guía extremadamente dispersa. Nuestros resultados sugieren que los priors contemporáneos de profundidad monocular robustecen en gran medida la completación de profundidad: puede ser mejor ver la tarea como recuperar la profundidad densa a partir de píxeles de imagen (densos), guiados por profundidad dispersa; en lugar de como rellenar (profundidad dispersa), guiada por una imagen. Sitio web del proyecto: https://MarigoldDepthCompletion.github.io/

English

Depth completion upgrades sparse depth measurements into dense depth maps guided by a conventional image. Existing methods for this highly ill-posed task operate in tightly constrained settings and tend to struggle when applied to images outside the training domain or when the available depth measurements are sparse, irregularly distributed, or of varying density. Inspired by recent advances in monocular depth estimation, we reframe depth completion as an image-conditional depth map generation guided by sparse measurements. Our method, Marigold-DC, builds on a pretrained latent diffusion model for monocular depth estimation and injects the depth observations as test-time guidance via an optimization scheme that runs in tandem with the iterative inference of denoising diffusion. The method exhibits excellent zero-shot generalization across a diverse range of environments and handles even extremely sparse guidance effectively. Our results suggest that contemporary monocular depth priors greatly robustify depth completion: it may be better to view the task as recovering dense depth from (dense) image pixels, guided by sparse depth; rather than as inpainting (sparse) depth, guided by an image. Project website: https://MarigoldDepthCompletion.github.io/