Cycle3D: 생성-재구성 사이클을 통한 고품질 및 일관성 있는 이미지-3D 생성

Cycle3D: High-quality and Consistent Image-to-3D Generation via Generation-Reconstruction Cycle

July 28, 2024

저자: Zhenyu Tang, Junwu Zhang, Xinhua Cheng, Wangbo Yu, Chaoran Feng, Yatian Pang, Bin Lin, Li Yuan

cs.AI

초록

최근의 3D 대규모 재구성 모델들은 일반적으로 두 단계의 프로세스를 사용합니다. 첫 번째 단계에서는 멀티뷰 확산 모델을 통해 멀티뷰 이미지를 생성하고, 두 번째 단계에서는 피드포워드 모델을 사용하여 이미지를 3D 콘텐츠로 재구성합니다. 그러나 멀티뷰 확산 모델은 종종 저품질이고 일관성이 없는 이미지를 생성하여 최종 3D 재구성의 품질에 부정적인 영향을 미칩니다. 이 문제를 해결하기 위해, 우리는 Cycle3D라는 통합 3D 생성 프레임워크를 제안합니다. 이 프레임워크는 다단계 확산 과정 동안 2D 확산 기반 생성 모듈과 피드포워드 3D 재구성 모듈을 순환적으로 활용합니다. 구체적으로, 2D 확산 모델은 고품질 텍스처 생성을 위해 적용되며, 재구성 모델은 멀티뷰 일관성을 보장합니다. 또한, 2D 확산 모델은 생성된 콘텐츠를 추가로 제어하고, 보이지 않는 뷰에 대한 참조 뷰 정보를 주입함으로써 노이즈 제거 과정에서 3D 생성의 다양성과 텍스처 일관성을 향상시킵니다. 광범위한 실험을 통해 우리의 방법이 최신 베이스라인과 비교하여 고품질과 일관성을 갖춘 3D 콘텐츠를 생성하는 우수한 능력을 입증했습니다.

English

Recent 3D large reconstruction models typically employ a two-stage process, including first generate multi-view images by a multi-view diffusion model, and then utilize a feed-forward model to reconstruct images to 3D content.However, multi-view diffusion models often produce low-quality and inconsistent images, adversely affecting the quality of the final 3D reconstruction. To address this issue, we propose a unified 3D generation framework called Cycle3D, which cyclically utilizes a 2D diffusion-based generation module and a feed-forward 3D reconstruction module during the multi-step diffusion process. Concretely, 2D diffusion model is applied for generating high-quality texture, and the reconstruction model guarantees multi-view consistency.Moreover, 2D diffusion model can further control the generated content and inject reference-view information for unseen views, thereby enhancing the diversity and texture consistency of 3D generation during the denoising process. Extensive experiments demonstrate the superior ability of our method to create 3D content with high-quality and consistency compared with state-of-the-art baselines.