Wonder3D: Enkele Afbeelding naar 3D met Cross-Domain Diffusie

Wonder3D: Single Image to 3D using Cross-Domain Diffusion

October 23, 2023

Auteurs: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, Wenping Wang

cs.AI

Samenvatting

In dit werk introduceren we Wonder3D, een nieuwe methode voor het efficiënt genereren van hoogwaardige textuurmeshes vanuit enkelvoudige beeldweergaven. Recente methoden gebaseerd op Score Distillation Sampling (SDS) hebben het potentieel getoond om 3D-geometrie te herstellen vanuit 2D-diffusieprioriteiten, maar ze lijden doorgaans aan tijdrovende optimalisatie per vorm en inconsistente geometrie. Daarentegen produceren bepaalde werken direct 3D-informatie via snelle netwerkinferenties, maar hun resultaten zijn vaak van lage kwaliteit en missen geometrische details. Om de kwaliteit, consistentie en efficiëntie van beeld-naar-3D-taken holistisch te verbeteren, stellen we een cross-domein diffusiemodel voor dat multi-view normal maps en de bijbehorende kleurenafbeeldingen genereert. Om consistentie te waarborgen, gebruiken we een multi-view cross-domein aandachtmechanisme dat informatie-uitwisseling tussen verschillende weergaven en modaliteiten vergemakkelijkt. Tot slot introduceren we een geometrie-bewust normaal fusie-algoritme dat hoogwaardige oppervlakken extraheert uit de multi-view 2D-representaties. Onze uitgebreide evaluaties tonen aan dat onze methode hoogwaardige reconstructieresultaten, robuuste generalisatie en redelijk goede efficiëntie bereikt in vergelijking met eerdere werken.

English

In this work, we introduce Wonder3D, a novel method for efficiently generating high-fidelity textured meshes from single-view images.Recent methods based on Score Distillation Sampling (SDS) have shown the potential to recover 3D geometry from 2D diffusion priors, but they typically suffer from time-consuming per-shape optimization and inconsistent geometry. In contrast, certain works directly produce 3D information via fast network inferences, but their results are often of low quality and lack geometric details. To holistically improve the quality, consistency, and efficiency of image-to-3D tasks, we propose a cross-domain diffusion model that generates multi-view normal maps and the corresponding color images. To ensure consistency, we employ a multi-view cross-domain attention mechanism that facilitates information exchange across views and modalities. Lastly, we introduce a geometry-aware normal fusion algorithm that extracts high-quality surfaces from the multi-view 2D representations. Our extensive evaluations demonstrate that our method achieves high-quality reconstruction results, robust generalization, and reasonably good efficiency compared to prior works.