MicroDreamer : Génération 3D en zéro-shot en moins de 20 secondes par reconstruction itérative basée sur les scores

MicroDreamer: Zero-shot 3D Generation in sim20 Seconds by Score-based Iterative Reconstruction

April 30, 2024

Auteurs: Luxi Chen, Zhengyi Wang, Chongxuan Li, Tingting Gao, Hang Su, Jun Zhu

cs.AI

Résumé

Les approches basées sur l'optimisation, telles que l'échantillonnage par distillation de score (SDS), montrent des perspectives prometteuses pour la génération 3D en zero-shot, mais souffrent d'une faible efficacité, principalement en raison du nombre élevé d'évaluations de fonctions (NFEs) nécessaires pour chaque échantillon. Dans cet article, nous introduisons la reconstruction itérative basée sur le score (SIR), un algorithme efficace et général pour la génération 3D avec un modèle de diffusion multi-vues basé sur le score. Étant donné les images produites par le modèle de diffusion, SIR réduit les NFEs en optimisant de manière répétée les paramètres 3D, contrairement à l'optimisation unique dans SDS, imitant ainsi le processus de reconstruction 3D. Avec d'autres améliorations, notamment l'optimisation dans l'espace des pixels, nous présentons une approche efficace appelée MicroDreamer qui s'applique généralement à diverses représentations 3D et tâches de génération 3D. En particulier, tout en conservant une performance comparable, MicroDreamer est 5 à 20 fois plus rapide que SDS pour générer des champs de radiance neuronaux et prend environ 20 secondes pour générer des maillages à partir d'une division 3D de Gaussiennes sur une seule GPU A100, réduisant de moitié le temps de la baseline zero-shot la plus rapide, DreamGaussian. Notre code est disponible à l'adresse https://github.com/ML-GSAI/MicroDreamer.

English

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample. In this paper, we introduce score-based iterative reconstruction (SIR), an efficient and general algorithm for 3D generation with a multi-view score-based diffusion model. Given the images produced by the diffusion model, SIR reduces NFEs by repeatedly optimizing 3D parameters, unlike the single optimization in SDS, mimicking the 3D reconstruction process. With other improvements including optimization in the pixel space, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, retaining a comparable performance, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field and takes about 20 seconds to generate meshes from 3D Gaussian splitting on a single A100 GPU, halving the time of the fastest zero-shot baseline, DreamGaussian. Our code is available at https://github.com/ML-GSAI/MicroDreamer.