MicroDreamer: Generazione 3D Zero-shot in circa 20 secondi tramite Ricostruzione Iterativa basata su Score

MicroDreamer: Zero-shot 3D Generation in sim20 Seconds by Score-based Iterative Reconstruction

April 30, 2024

Autori: Luxi Chen, Zhengyi Wang, Chongxuan Li, Tingting Gao, Hang Su, Jun Zhu

cs.AI

Abstract

Gli approcci basati sull'ottimizzazione, come il campionamento per distillazione del punteggio (SDS), mostrano potenziale nella generazione zero-shot di modelli 3D, ma soffrono di bassa efficienza, principalmente a causa dell'elevato numero di valutazioni di funzioni (NFE) richieste per ciascun campione. In questo articolo, introduciamo la ricostruzione iterativa basata sul punteggio (SIR), un algoritmo efficiente e generale per la generazione 3D con un modello di diffusione basato su punteggi multi-vista. Dati le immagini prodotte dal modello di diffusione, SIR riduce le NFE ottimizzando ripetutamente i parametri 3D, a differenza della singola ottimizzazione in SDS, imitando il processo di ricostruzione 3D. Con altri miglioramenti, tra cui l'ottimizzazione nello spazio dei pixel, presentiamo un approccio efficiente chiamato MicroDreamer che si applica generalmente a varie rappresentazioni 3D e compiti di generazione 3D. In particolare, mantenendo una performance comparabile, MicroDreamer è 5-20 volte più veloce di SDS nella generazione di campi di radianza neurale e impiega circa 20 secondi per generare mesh dalla suddivisione 3D di Gaussiane su una singola GPU A100, dimezzando il tempo della baseline zero-shot più veloce, DreamGaussian. Il nostro codice è disponibile all'indirizzo https://github.com/ML-GSAI/MicroDreamer.

English

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample. In this paper, we introduce score-based iterative reconstruction (SIR), an efficient and general algorithm for 3D generation with a multi-view score-based diffusion model. Given the images produced by the diffusion model, SIR reduces NFEs by repeatedly optimizing 3D parameters, unlike the single optimization in SDS, mimicking the 3D reconstruction process. With other improvements including optimization in the pixel space, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, retaining a comparable performance, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field and takes about 20 seconds to generate meshes from 3D Gaussian splitting on a single A100 GPU, halving the time of the fastest zero-shot baseline, DreamGaussian. Our code is available at https://github.com/ML-GSAI/MicroDreamer.