MVDD: Modelli di Diffusione della Profondità Multi-Vista

MVDD: Multi-View Depth Diffusion Models

December 8, 2023

Autori: Zhen Wang, Qiangeng Xu, Feitong Tan, Menglei Chai, Shichen Liu, Rohit Pandey, Sean Fanello, Achuta Kadambi, Yinda Zhang

cs.AI

Abstract

I modelli di diffusione per il denoising hanno dimostrato risultati eccezionali nella generazione di immagini 2D, ma replicare questo successo nella generazione di forme 3D rimane una sfida. In questo articolo, proponiamo di sfruttare la profondità multi-vista, che rappresenta forme 3D complesse in un formato di dati 2D facile da denoisare. Abbiamo abbinato questa rappresentazione a un modello di diffusione, MVDD, in grado di generare nuvole di punti dense di alta qualità con oltre 20K punti e dettagli fini. Per garantire la coerenza 3D nella profondità multi-vista, introduciamo un'attenzione ai segmenti di linea epipolare che condiziona il passo di denoising per una vista sulle viste adiacenti. Inoltre, un modulo di fusione della profondità è incorporato nei passi di diffusione per garantire ulteriormente l'allineamento delle mappe di profondità. Quando arricchito con la ricostruzione della superficie, MVDD può anche produrre mesh 3D di alta qualità. Inoltre, MVDD si distingue in altre attività come il completamento della profondità e può servire come prior 3D, migliorando significativamente molte attività a valle, come l'inversione di GAN. I risultati all'avanguardia ottenuti da esperimenti estensivi dimostrano l'eccellente capacità di MVDD nella generazione di forme 3D, nel completamento della profondità e il suo potenziale come prior 3D per attività a valle.

English

Denoising diffusion models have demonstrated outstanding results in 2D image generation, yet it remains a challenge to replicate its success in 3D shape generation. In this paper, we propose leveraging multi-view depth, which represents complex 3D shapes in a 2D data format that is easy to denoise. We pair this representation with a diffusion model, MVDD, that is capable of generating high-quality dense point clouds with 20K+ points with fine-grained details. To enforce 3D consistency in multi-view depth, we introduce an epipolar line segment attention that conditions the denoising step for a view on its neighboring views. Additionally, a depth fusion module is incorporated into diffusion steps to further ensure the alignment of depth maps. When augmented with surface reconstruction, MVDD can also produce high-quality 3D meshes. Furthermore, MVDD stands out in other tasks such as depth completion, and can serve as a 3D prior, significantly boosting many downstream tasks, such as GAN inversion. State-of-the-art results from extensive experiments demonstrate MVDD's excellent ability in 3D shape generation, depth completion, and its potential as a 3D prior for downstream tasks.