MicroDreamer: Geração Zero-shot 3D em 20 Segundos por Reconstrução Iterativa Baseada em Pontuação

MicroDreamer: Zero-shot 3D Generation in sim20 Seconds by Score-based Iterative Reconstruction

April 30, 2024

Autores: Luxi Chen, Zhengyi Wang, Chongxuan Li, Tingting Gao, Hang Su, Jun Zhu

cs.AI

Resumo

Abordagens baseadas em otimização, como a amostragem por destilação de pontuação (SDS), mostram potencial na geração zero-shot de modelos 3D, mas sofrem com baixa eficiência, principalmente devido ao alto número de avaliações de função (NFEs) necessárias para cada amostra. Neste artigo, introduzimos a reconstrução iterativa baseada em pontuação (SIR), um algoritmo eficiente e geral para geração 3D com um modelo de difusão baseado em pontuação de múltiplas visões. Dadas as imagens produzidas pelo modelo de difusão, o SIR reduz os NFEs ao otimizar repetidamente os parâmetros 3D, ao contrário da otimização única no SDS, imitando o processo de reconstrução 3D. Com outras melhorias, incluindo a otimização no espaço de pixels, apresentamos uma abordagem eficiente chamada MicroDreamer, que se aplica de forma geral a várias representações 3D e tarefas de geração 3D. Em particular, mantendo um desempenho comparável, o MicroDreamer é 5 a 20 vezes mais rápido que o SDS na geração de campos de radiação neural e leva cerca de 20 segundos para gerar malhas a partir da divisão Gaussiana 3D em uma única GPU A100, reduzindo pela metade o tempo da linha de base zero-shot mais rápida, o DreamGaussian. Nosso código está disponível em https://github.com/ML-GSAI/MicroDreamer.

English

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample. In this paper, we introduce score-based iterative reconstruction (SIR), an efficient and general algorithm for 3D generation with a multi-view score-based diffusion model. Given the images produced by the diffusion model, SIR reduces NFEs by repeatedly optimizing 3D parameters, unlike the single optimization in SDS, mimicking the 3D reconstruction process. With other improvements including optimization in the pixel space, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, retaining a comparable performance, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field and takes about 20 seconds to generate meshes from 3D Gaussian splitting on a single A100 GPU, halving the time of the fastest zero-shot baseline, DreamGaussian. Our code is available at https://github.com/ML-GSAI/MicroDreamer.