MicroDreamer: Zero-shot 3D-generatie in ongeveer 20 seconden via score-gebaseerde iteratieve reconstructie

MicroDreamer: Zero-shot 3D Generation in sim20 Seconds by Score-based Iterative Reconstruction

April 30, 2024

Auteurs: Luxi Chen, Zhengyi Wang, Chongxuan Li, Tingting Gao, Hang Su, Jun Zhu

cs.AI

Samenvatting

Optimalisatiegebaseerde benaderingen, zoals score-distillatie-steekproef (SDS), tonen potentieel in zero-shot 3D-generatie maar kampen met een lage efficiëntie, voornamelijk vanwege het hoge aantal functie-evaluaties (NFEs) dat voor elke steekproef vereist is. In dit artikel introduceren we score-gebaseerde iteratieve reconstructie (SIR), een efficiënt en algemeen algoritme voor 3D-generatie met een multi-view score-gebaseerd diffusiemodel. Gegeven de afbeeldingen die door het diffusiemodel worden geproduceerd, vermindert SIR NFEs door herhaaldelijk 3D-parameters te optimaliseren, in tegenstelling tot de enkele optimalisatie in SDS, wat het 3D-reconstructieproces nabootst. Met andere verbeteringen, waaronder optimalisatie in de pixelruimte, presenteren we een efficiënte benadering genaamd MicroDreamer die algemeen toepasbaar is op verschillende 3D-representaties en 3D-generatietaken. In het bijzonder, terwijl het een vergelijkbare prestatieniveau behoudt, is MicroDreamer 5-20 keer sneller dan SDS in het genereren van neurale stralingsvelden en duurt het ongeveer 20 seconden om meshes te genereren vanuit 3D Gaussiaanse splitsing op een enkele A100 GPU, wat de tijd van de snelste zero-shot baseline, DreamGaussian, halveert. Onze code is beschikbaar op https://github.com/ML-GSAI/MicroDreamer.

English

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample. In this paper, we introduce score-based iterative reconstruction (SIR), an efficient and general algorithm for 3D generation with a multi-view score-based diffusion model. Given the images produced by the diffusion model, SIR reduces NFEs by repeatedly optimizing 3D parameters, unlike the single optimization in SDS, mimicking the 3D reconstruction process. With other improvements including optimization in the pixel space, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, retaining a comparable performance, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field and takes about 20 seconds to generate meshes from 3D Gaussian splitting on a single A100 GPU, halving the time of the fastest zero-shot baseline, DreamGaussian. Our code is available at https://github.com/ML-GSAI/MicroDreamer.