Magic-Boost: 멀티뷰 조건부 확산 모델을 통한 3D 생성 성능 향상

Magic-Boost: Boost 3D Generation with Mutli-View Conditioned Diffusion

April 9, 2024

저자: Fan Yang, Jianfeng Zhang, Yichun Shi, Bowen Chen, Chenxu Zhang, Huichao Zhang, Xiaofeng Yang, Jiashi Feng, Guosheng Lin

cs.AI

초록

2D 디퓨전 모델의 급속한 발전에 힘입어, 3D 콘텐츠 생성은 최근 상당한 진전을 이루었습니다. 특히, 사전 훈련된 2D 디퓨전 모델을 미세 조정하여 다중 뷰 이미지를 생성한 후, 이를 fast-NeRF나 대규모 재구성 모델과 같은 방법을 통해 정확한 3D 모델로 변환하는 접근법이 유망한 해결책으로 떠오르고 있습니다. 그러나 이러한 방법들은 여전히 불일치 문제와 제한된 생성 해상도로 인해 복잡한 텍스처와 기하학적 구조를 충분히 표현하지 못하는 한계가 있습니다. 이러한 문제를 해결하기 위해, 우리는 Magic-Boost를 제안합니다. Magic-Boost는 다중 뷰 조건부 디퓨전 모델로, 짧은 시간의 SDS 최적화(약 15분)를 통해 초기 생성 결과를 크게 개선합니다. 기존의 텍스트 또는 단일 이미지 기반 디퓨전 모델과 비교했을 때, Magic-Boost는 가상 합성된 다중 뷰 이미지로부터 높은 일관성을 가진 이미지를 생성하는 강력한 능력을 보여줍니다. 또한, 입력 이미지의 정체성과 잘 맞는 정밀한 SDS 가이던스를 제공하여 초기 생성 결과의 기하학적 구조와 텍스처의 세부 사항을 풍부하게 만듭니다. 광범위한 실험을 통해 Magic-Boost가 초기 입력을 크게 개선하고 풍부한 기하학적 및 텍스처 세부 사항을 가진 고품질 3D 자산을 생성함을 확인했습니다. (프로젝트 페이지: https://magic-research.github.io/magic-boost/)

English

Benefiting from the rapid development of 2D diffusion models, 3D content creation has made significant progress recently. One promising solution involves the fine-tuning of pre-trained 2D diffusion models to harness their capacity for producing multi-view images, which are then lifted into accurate 3D models via methods like fast-NeRFs or large reconstruction models. However, as inconsistency still exists and limited generated resolution, the generation results of such methods still lack intricate textures and complex geometries. To solve this problem, we propose Magic-Boost, a multi-view conditioned diffusion model that significantly refines coarse generative results through a brief period of SDS optimization (sim15min). Compared to the previous text or single image based diffusion models, Magic-Boost exhibits a robust capability to generate images with high consistency from pseudo synthesized multi-view images. It provides precise SDS guidance that well aligns with the identity of the input images, enriching the local detail in both geometry and texture of the initial generative results. Extensive experiments show Magic-Boost greatly enhances the coarse inputs and generates high-quality 3D assets with rich geometric and textural details. (Project Page: https://magic-research.github.io/magic-boost/)