Marigold-DC: Нулевая глубина монокулярного завершения с управляемой диффузией

Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion

December 18, 2024

Авторы: Massimiliano Viola, Kevin Qu, Nando Metzger, Bingxin Ke, Alexander Becker, Konrad Schindler, Anton Obukhov

cs.AI

Аннотация

Завершение глубины обновляет разреженные измерения глубины в плотные карты глубины, направляемые обычным изображением. Существующие методы для этой высоко некорректной задачи работают в тесно ограниченных условиях и часто испытывают трудности при применении к изображениям за пределами области обучения или когда доступные измерения глубины разрежены, неравномерно распределены или имеют различную плотность. Вдохновленные последними достижениями в оценке монокулярной глубины, мы переосмыслили завершение глубины как генерацию карты глубины, зависящую от изображения и направляемую разреженными измерениями. Наш метод, Marigold-DC, основан на предварительно обученной модели латентной диффузии для оценки монокулярной глубины и вводит наблюдения глубины в качестве руководства на этапе тестирования с помощью схемы оптимизации, которая работает параллельно с итеративным выводом диффузии шумоподавления. Метод проявляет отличную обобщаемость без предварительного обучения в разнообразных средах и эффективно обрабатывает даже крайне разреженное руководство. Наши результаты показывают, что современные априорные знания о монокулярной глубине значительно укрепляют завершение глубины: возможно, лучше рассматривать задачу как восстановление плотной глубины из (плотных) пикселей изображения, направляемое разреженной глубиной; а не как заполнение (разреженной) глубины, направляемое изображением. Веб-сайт проекта: https://MarigoldDepthCompletion.github.io/

English

Depth completion upgrades sparse depth measurements into dense depth maps guided by a conventional image. Existing methods for this highly ill-posed task operate in tightly constrained settings and tend to struggle when applied to images outside the training domain or when the available depth measurements are sparse, irregularly distributed, or of varying density. Inspired by recent advances in monocular depth estimation, we reframe depth completion as an image-conditional depth map generation guided by sparse measurements. Our method, Marigold-DC, builds on a pretrained latent diffusion model for monocular depth estimation and injects the depth observations as test-time guidance via an optimization scheme that runs in tandem with the iterative inference of denoising diffusion. The method exhibits excellent zero-shot generalization across a diverse range of environments and handles even extremely sparse guidance effectively. Our results suggest that contemporary monocular depth priors greatly robustify depth completion: it may be better to view the task as recovering dense depth from (dense) image pixels, guided by sparse depth; rather than as inpainting (sparse) depth, guided by an image. Project website: https://MarigoldDepthCompletion.github.io/