Cycle3D: Высококачественная и последовательная генерация 3D изображений с помощью цикла генерации-восстановления.

Cycle3D: High-quality and Consistent Image-to-3D Generation via Generation-Reconstruction Cycle

July 28, 2024

Авторы: Zhenyu Tang, Junwu Zhang, Xinhua Cheng, Wangbo Yu, Chaoran Feng, Yatian Pang, Bin Lin, Li Yuan

cs.AI

Аннотация

Современные модели крупномасштабной трехмерной реконструкции обычно используют двухэтапный процесс, включающий сначала создание многозрительных изображений с помощью модели многозрительного диффузионного процесса, а затем использование модели прямого распространения для реконструкции изображений в трехмерное содержимое. Однако модели многозрительного диффузионного процесса часто производят изображения низкого качества и несогласованные, что негативно сказывается на качестве окончательной трехмерной реконструкции. Для решения этой проблемы мы предлагаем унифицированную 3D-структуру генерации под названием Cycle3D, которая циклически использует модуль генерации на основе диффузии в 2D и модуль реконструкции в 3D с прямым распространением во время многоэтапного процесса диффузии. Конкретно, модель диффузии в 2D применяется для создания текстуры высокого качества, а модель реконструкции гарантирует согласованность многозрительных изображений. Более того, модель диффузии в 2D может дополнительно контролировать создаваемое содержимое и вводить информацию о ссылочном изображении для невидимых видов, тем самым улучшая разнообразие и согласованность текстуры трехмерной генерации во время процесса подавления шума. Обширные эксперименты демонстрируют превосходные возможности нашего метода в создании трехмерного содержимого высокого качества и согласованности по сравнению с передовыми базовыми моделями.

English

Recent 3D large reconstruction models typically employ a two-stage process, including first generate multi-view images by a multi-view diffusion model, and then utilize a feed-forward model to reconstruct images to 3D content.However, multi-view diffusion models often produce low-quality and inconsistent images, adversely affecting the quality of the final 3D reconstruction. To address this issue, we propose a unified 3D generation framework called Cycle3D, which cyclically utilizes a 2D diffusion-based generation module and a feed-forward 3D reconstruction module during the multi-step diffusion process. Concretely, 2D diffusion model is applied for generating high-quality texture, and the reconstruction model guarantees multi-view consistency.Moreover, 2D diffusion model can further control the generated content and inject reference-view information for unseen views, thereby enhancing the diversity and texture consistency of 3D generation during the denoising process. Extensive experiments demonstrate the superior ability of our method to create 3D content with high-quality and consistency compared with state-of-the-art baselines.