Wonder3D: Создание 3D-моделей из одного изображения с использованием кросс-доменной диффузии

Wonder3D: Single Image to 3D using Cross-Domain Diffusion

October 23, 2023

Авторы: Xiaoxiao Long, Yuan-Chen Guo, Cheng Lin, Yuan Liu, Zhiyang Dou, Lingjie Liu, Yuexin Ma, Song-Hai Zhang, Marc Habermann, Christian Theobalt, Wenping Wang

cs.AI

Аннотация

В данной работе мы представляем Wonder3D — новый метод для эффективного создания высококачественных текстурных мешей из одноракурсных изображений. Современные методы, основанные на Score Distillation Sampling (SDS), продемонстрировали потенциал восстановления 3D-геометрии с использованием 2D-диффузионных априорных моделей, однако они обычно страдают от длительной оптимизации для каждого объекта и несогласованной геометрии. В то же время, некоторые подходы напрямую генерируют 3D-информацию с помощью быстрых сетевых выводов, но их результаты часто оказываются низкокачественными и лишены деталей. Для комплексного улучшения качества, согласованности и эффективности задач преобразования изображений в 3D мы предлагаем кросс-доменную диффузионную модель, которая генерирует многовидовые карты нормалей и соответствующие цветные изображения. Для обеспечения согласованности мы используем механизм кросс-доменного внимания между видами, который способствует обмену информацией между ракурсами и модальностями. Наконец, мы представляем геометрически осознанный алгоритм слияния нормалей, который извлекает высококачественные поверхности из многовидовых 2D-представлений. Наши обширные оценки показывают, что наш метод достигает высококачественных результатов реконструкции, устойчивой обобщаемости и достаточно хорошей эффективности по сравнению с предыдущими работами.

English

In this work, we introduce Wonder3D, a novel method for efficiently generating high-fidelity textured meshes from single-view images.Recent methods based on Score Distillation Sampling (SDS) have shown the potential to recover 3D geometry from 2D diffusion priors, but they typically suffer from time-consuming per-shape optimization and inconsistent geometry. In contrast, certain works directly produce 3D information via fast network inferences, but their results are often of low quality and lack geometric details. To holistically improve the quality, consistency, and efficiency of image-to-3D tasks, we propose a cross-domain diffusion model that generates multi-view normal maps and the corresponding color images. To ensure consistency, we employ a multi-view cross-domain attention mechanism that facilitates information exchange across views and modalities. Lastly, we introduce a geometry-aware normal fusion algorithm that extracts high-quality surfaces from the multi-view 2D representations. Our extensive evaluations demonstrate that our method achieves high-quality reconstruction results, robust generalization, and reasonably good efficiency compared to prior works.