Wonder3D: Geração de 3D a partir de uma Única Imagem utilizando Difusão entre Domínios

Wonder3D: Single Image to 3D using Cross-Domain Diffusion

October 23, 2023

Autores: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, Wenping Wang

cs.AI

Resumo

Neste trabalho, apresentamos o Wonder3D, um método inovador para gerar eficientemente malhas texturizadas de alta fidelidade a partir de imagens de visão única. Métodos recentes baseados em Amostragem por Distilação de Pontuação (SDS) demonstraram o potencial de recuperar geometria 3D a partir de priors de difusão 2D, mas geralmente sofrem com otimização demorada por forma e geometria inconsistente. Em contraste, certos trabalhos produzem diretamente informações 3D por meio de inferências rápidas de rede, mas seus resultados frequentemente são de baixa qualidade e carecem de detalhes geométricos. Para melhorar holisticamente a qualidade, consistência e eficiência de tarefas de imagem-para-3D, propomos um modelo de difusão de domínio cruzado que gera mapas normais multivista e as imagens de cores correspondentes. Para garantir consistência, empregamos um mecanismo de atenção de domínio cruzado multivista que facilita a troca de informações entre vistas e modalidades. Por fim, introduzimos um algoritmo de fusão normal com consciência geométrica que extrai superfícies de alta qualidade a partir das representações 2D multivista. Nossas extensivas avaliações demonstram que nosso método alcança resultados de reconstrução de alta qualidade, generalização robusta e eficiência razoavelmente boa em comparação com trabalhos anteriores.

English

In this work, we introduce Wonder3D, a novel method for efficiently generating high-fidelity textured meshes from single-view images.Recent methods based on Score Distillation Sampling (SDS) have shown the potential to recover 3D geometry from 2D diffusion priors, but they typically suffer from time-consuming per-shape optimization and inconsistent geometry. In contrast, certain works directly produce 3D information via fast network inferences, but their results are often of low quality and lack geometric details. To holistically improve the quality, consistency, and efficiency of image-to-3D tasks, we propose a cross-domain diffusion model that generates multi-view normal maps and the corresponding color images. To ensure consistency, we employ a multi-view cross-domain attention mechanism that facilitates information exchange across views and modalities. Lastly, we introduce a geometry-aware normal fusion algorithm that extracts high-quality surfaces from the multi-view 2D representations. Our extensive evaluations demonstrate that our method achieves high-quality reconstruction results, robust generalization, and reasonably good efficiency compared to prior works.