MVDD: Modelos de Difusão de Profundidade Multi-Vista

MVDD: Multi-View Depth Diffusion Models

December 8, 2023

Autores: Zhen Wang, Qiangeng Xu, Feitong Tan, Menglei Chai, Shichen Liu, Rohit Pandey, Sean Fanello, Achuta Kadambi, Yinda Zhang

cs.AI

Resumo

Modelos de difusão para remoção de ruído têm demonstrado resultados excepcionais na geração de imagens 2D, mas ainda é um desafio replicar esse sucesso na geração de formas 3D. Neste artigo, propomos aproveitar a profundidade multivista, que representa formas 3D complexas em um formato de dados 2D que é fácil de remover ruído. Emparelhamos essa representação com um modelo de difusão, o MVDD, capaz de gerar nuvens de pontos densas e de alta qualidade com mais de 20 mil pontos e detalhes refinados. Para garantir a consistência 3D na profundidade multivista, introduzimos uma atenção a segmentos de linha epipolar que condiciona a etapa de remoção de ruído de uma vista com base em suas vistas vizinhas. Além disso, um módulo de fusão de profundidade é incorporado às etapas de difusão para garantir ainda mais o alinhamento dos mapas de profundidade. Quando aumentado com reconstrução de superfície, o MVDD também pode produzir malhas 3D de alta qualidade. Adicionalmente, o MVDD se destaca em outras tarefas, como completamento de profundidade, e pode servir como um prior 3D, impulsionando significativamente muitas tarefas subsequentes, como inversão de GAN. Resultados de ponta provenientes de extensos experimentos demonstram a excelente capacidade do MVDD na geração de formas 3D, completamento de profundidade e seu potencial como um prior 3D para tarefas subsequentes.

English

Denoising diffusion models have demonstrated outstanding results in 2D image generation, yet it remains a challenge to replicate its success in 3D shape generation. In this paper, we propose leveraging multi-view depth, which represents complex 3D shapes in a 2D data format that is easy to denoise. We pair this representation with a diffusion model, MVDD, that is capable of generating high-quality dense point clouds with 20K+ points with fine-grained details. To enforce 3D consistency in multi-view depth, we introduce an epipolar line segment attention that conditions the denoising step for a view on its neighboring views. Additionally, a depth fusion module is incorporated into diffusion steps to further ensure the alignment of depth maps. When augmented with surface reconstruction, MVDD can also produce high-quality 3D meshes. Furthermore, MVDD stands out in other tasks such as depth completion, and can serve as a 3D prior, significantly boosting many downstream tasks, such as GAN inversion. State-of-the-art results from extensive experiments demonstrate MVDD's excellent ability in 3D shape generation, depth completion, and its potential as a 3D prior for downstream tasks.