Wonder3D : Génération 3D à partir d'une seule image grâce à la diffusion inter-domaines

Wonder3D: Single Image to 3D using Cross-Domain Diffusion

October 23, 2023

Auteurs: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, Wenping Wang

cs.AI

Résumé

Dans ce travail, nous présentons Wonder3D, une méthode novatrice pour générer efficacement des maillages texturés de haute fidélité à partir d'images monoscopiques. Les méthodes récentes basées sur le Score Distillation Sampling (SDS) ont montré leur potentiel pour reconstruire la géométrie 3D à partir de modèles de diffusion 2D, mais elles souffrent généralement d'une optimisation longue par forme et d'une géométrie incohérente. En revanche, certaines approches produisent directement des informations 3D via des inférences réseau rapides, mais leurs résultats sont souvent de faible qualité et manquent de détails géométriques. Pour améliorer de manière holistique la qualité, la cohérence et l'efficacité des tâches de conversion d'image en 3D, nous proposons un modèle de diffusion inter-domaines qui génère des cartes de normales multi-vues et les images couleur correspondantes. Pour garantir la cohérence, nous utilisons un mécanisme d'attention inter-domaines multi-vues qui facilite l'échange d'informations entre les vues et les modalités. Enfin, nous introduisons un algorithme de fusion de normales prenant en compte la géométrie, qui extrait des surfaces de haute qualité à partir des représentations 2D multi-vues. Nos évaluations approfondies démontrent que notre méthode atteint des résultats de reconstruction de haute qualité, une généralisation robuste et une efficacité raisonnablement bonne par rapport aux travaux antérieurs.

English

In this work, we introduce Wonder3D, a novel method for efficiently generating high-fidelity textured meshes from single-view images.Recent methods based on Score Distillation Sampling (SDS) have shown the potential to recover 3D geometry from 2D diffusion priors, but they typically suffer from time-consuming per-shape optimization and inconsistent geometry. In contrast, certain works directly produce 3D information via fast network inferences, but their results are often of low quality and lack geometric details. To holistically improve the quality, consistency, and efficiency of image-to-3D tasks, we propose a cross-domain diffusion model that generates multi-view normal maps and the corresponding color images. To ensure consistency, we employ a multi-view cross-domain attention mechanism that facilitates information exchange across views and modalities. Lastly, we introduce a geometry-aware normal fusion algorithm that extracts high-quality surfaces from the multi-view 2D representations. Our extensive evaluations demonstrate that our method achieves high-quality reconstruction results, robust generalization, and reasonably good efficiency compared to prior works.