MicroDreamer: 스코어 기반 반복적 재구성을 통한 제로샷 3D 생성, 단 20초 내 완성

MicroDreamer: Zero-shot 3D Generation in sim20 Seconds by Score-based Iterative Reconstruction

April 30, 2024

저자: Luxi Chen, Zhengyi Wang, Chongxuan Li, Tingting Gao, Hang Su, Jun Zhu

cs.AI

초록

스코어 증류 샘플링(SDS)과 같은 최적화 기반 접근법은 제로샷 3D 생성에서 유망한 결과를 보이지만, 각 샘플에 필요한 높은 함수 평가 횟수(NFEs)로 인해 효율성이 낮다는 문제가 있습니다. 본 논문에서는 다중 뷰 스코어 기반 확산 모델을 사용한 3D 생성을 위한 효율적이고 일반적인 알고리즘인 스코어 기반 반복적 재구성(SIR)을 소개합니다. 확산 모델에 의해 생성된 이미지를 기반으로, SIR은 SDS의 단일 최적화와 달리 3D 재구성 과정을 모방하여 3D 매개변수를 반복적으로 최적화함으로써 NFEs를 줄입니다. 픽셀 공간에서의 최적화를 포함한 다른 개선 사항들과 함께, 우리는 다양한 3D 표현 및 3D 생성 작업에 일반적으로 적용 가능한 효율적인 접근법인 MicroDreamer를 제시합니다. 특히, 비슷한 성능을 유지하면서 MicroDreamer는 신경 방사 필드(NeRF) 생성에서 SDS보다 5-20배 빠르며, 단일 A100 GPU에서 3D 가우시안 분할을 통해 메시를 생성하는 데 약 20초가 걸려, 가장 빠른 제로샷 베이스라인인 DreamGaussian의 시간을 절반으로 단축합니다. 우리의 코드는 https://github.com/ML-GSAI/MicroDreamer에서 확인할 수 있습니다.

English

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample. In this paper, we introduce score-based iterative reconstruction (SIR), an efficient and general algorithm for 3D generation with a multi-view score-based diffusion model. Given the images produced by the diffusion model, SIR reduces NFEs by repeatedly optimizing 3D parameters, unlike the single optimization in SDS, mimicking the 3D reconstruction process. With other improvements including optimization in the pixel space, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, retaining a comparable performance, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field and takes about 20 seconds to generate meshes from 3D Gaussian splitting on a single A100 GPU, halving the time of the fastest zero-shot baseline, DreamGaussian. Our code is available at https://github.com/ML-GSAI/MicroDreamer.