Marigold-DC: Zero-Shot Monoculaire Dieptevervulling met Geleide Diffusie

Samenvatting

Dieptecompletie verbetert schaarse dieptemetingen naar dichte dieptekaarten, geleid door een conventioneel beeld. Bestaande methoden voor deze zeer slecht gestelde taak werken in sterk beperkte omgevingen en hebben moeite wanneer ze worden toegepast op beelden buiten het trainingsdomein of wanneer de beschikbare dieptemetingen schaars, onregelmatig verdeeld of van variërende dichtheid zijn. Geïnspireerd door recente ontwikkelingen in monoculair diepteschatting, herschalen we dieptecompletie als een beeld-voorwaardelijke dieptekaartgeneratie geleid door schaarse metingen. Onze methode, Marigold-DC, bouwt voort op een voorgeleerd latent diffusiemodel voor monoculair diepteschatting en injecteert de dieptewaarnemingen als testtijdbegeleiding via een optimalisatieschema dat parallel loopt met de iteratieve inferentie van denoising diffusie. De methode vertoont uitstekende generalisatie zonder training over een divers scala aan omgevingen en kan zelfs extreem schaarse begeleiding effectief verwerken. Onze resultaten suggereren dat hedendaagse monoculaire diepteprioriteiten dieptecompletie aanzienlijk robuuster maken: het is wellicht beter om de taak te zien als het herstellen van dichte diepte uit (dichte) beeldpixels, geleid door schaarse diepte; in plaats van als het inpakken van (schaarse) diepte, geleid door een beeld. Projectwebsite: https://MarigoldDepthCompletion.github.io/

English

Depth completion upgrades sparse depth measurements into dense depth maps guided by a conventional image. Existing methods for this highly ill-posed task operate in tightly constrained settings and tend to struggle when applied to images outside the training domain or when the available depth measurements are sparse, irregularly distributed, or of varying density. Inspired by recent advances in monocular depth estimation, we reframe depth completion as an image-conditional depth map generation guided by sparse measurements. Our method, Marigold-DC, builds on a pretrained latent diffusion model for monocular depth estimation and injects the depth observations as test-time guidance via an optimization scheme that runs in tandem with the iterative inference of denoising diffusion. The method exhibits excellent zero-shot generalization across a diverse range of environments and handles even extremely sparse guidance effectively. Our results suggest that contemporary monocular depth priors greatly robustify depth completion: it may be better to view the task as recovering dense depth from (dense) image pixels, guided by sparse depth; rather than as inpainting (sparse) depth, guided by an image. Project website: https://MarigoldDepthCompletion.github.io/

Marigold-DC: Zero-Shot Monoculaire Dieptevervulling met Geleide Diffusie

Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion

Samenvatting

Support