MicroDreamer: Generación 3D en Cero Disparos en 20 Segundos mediante Reconstrucción Iterativa Basada en Puntuaciones

MicroDreamer: Zero-shot 3D Generation in sim20 Seconds by Score-based Iterative Reconstruction

April 30, 2024

Autores: Luxi Chen, Zhengyi Wang, Chongxuan Li, Tingting Gao, Hang Su, Jun Zhu

cs.AI

Resumen

Los enfoques basados en optimización, como el muestreo por destilación de puntuación (SDS), muestran potencial en la generación de modelos 3D sin datos previos (zero-shot), pero adolecen de baja eficiencia, principalmente debido al alto número de evaluaciones de funciones (NFEs) requeridas para cada muestra. En este artículo, presentamos la reconstrucción iterativa basada en puntuación (SIR), un algoritmo eficiente y general para la generación 3D utilizando un modelo de difusión basado en puntuación multi-vista. Dadas las imágenes producidas por el modelo de difusión, SIR reduce los NFEs optimizando repetidamente los parámetros 3D, a diferencia de la optimización única en SDS, imitando el proceso de reconstrucción 3D. Con otras mejoras, incluida la optimización en el espacio de píxeles, presentamos un enfoque eficiente llamado MicroDreamer que se aplica de manera general a diversas representaciones 3D y tareas de generación 3D. En particular, manteniendo un rendimiento comparable, MicroDreamer es 5-20 veces más rápido que SDS en la generación de campos de radiancia neural y tarda unos 20 segundos en generar mallas a partir de la división de Gaussianas 3D en una sola GPU A100, reduciendo a la mitad el tiempo de la línea base zero-shot más rápida, DreamGaussian. Nuestro código está disponible en https://github.com/ML-GSAI/MicroDreamer.

English

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample. In this paper, we introduce score-based iterative reconstruction (SIR), an efficient and general algorithm for 3D generation with a multi-view score-based diffusion model. Given the images produced by the diffusion model, SIR reduces NFEs by repeatedly optimizing 3D parameters, unlike the single optimization in SDS, mimicking the 3D reconstruction process. With other improvements including optimization in the pixel space, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, retaining a comparable performance, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field and takes about 20 seconds to generate meshes from 3D Gaussian splitting on a single A100 GPU, halving the time of the fastest zero-shot baseline, DreamGaussian. Our code is available at https://github.com/ML-GSAI/MicroDreamer.