MicroDreamer: Zero-Shot 3D-Generierung in sim20 Sekunden durch scorebasierte iterative Rekonstruktion.

MicroDreamer: Zero-shot 3D Generation in sim20 Seconds by Score-based Iterative Reconstruction

April 30, 2024

Autoren: Luxi Chen, Zhengyi Wang, Chongxuan Li, Tingting Gao, Hang Su, Jun Zhu

cs.AI

Zusammenfassung

Optimierungsbasierte Ansätze wie die Score-Destillations-Stichprobenahme (SDS) zeigen vielversprechende Ergebnisse bei der Null-Shot-3D-Generierung, leiden jedoch unter geringer Effizienz, hauptsächlich aufgrund der hohen Anzahl von Funktionsauswertungen (NFEs), die für jede Probe erforderlich sind. In diesem Papier stellen wir Score-basierte iterative Rekonstruktion (SIR) vor, einen effizienten und allgemeinen Algorithmus für die 3D-Generierung mit einem Multi-View-Score-basierten Diffusionsmodell. Angesichts der Bilder, die vom Diffusionsmodell erzeugt werden, reduziert SIR die NFEs, indem es wiederholt 3D-Parameter optimiert, im Gegensatz zur einmaligen Optimierung in SDS, wodurch der 3D-Rekonstruktionsprozess nachgeahmt wird. Mit weiteren Verbesserungen, einschließlich der Optimierung im Pixelraum, präsentieren wir einen effizienten Ansatz namens MicroDreamer, der im Allgemeinen auf verschiedene 3D-Darstellungen und 3D-Generierungsaufgaben anwendbar ist. Insbesondere ist MicroDreamer bei vergleichbarer Leistung 5-20 Mal schneller als SDS bei der Generierung eines neuronalen Strahlungsfelds und benötigt etwa 20 Sekunden, um Gitter aus 3D-Gaußscher Aufspaltung auf einer einzelnen A100-GPU zu generieren, wodurch die Zeit des schnellsten Null-Shot-Baselines, DreamGaussian, halbiert wird. Unser Code ist verfügbar unter https://github.com/ML-GSAI/MicroDreamer.

English

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample. In this paper, we introduce score-based iterative reconstruction (SIR), an efficient and general algorithm for 3D generation with a multi-view score-based diffusion model. Given the images produced by the diffusion model, SIR reduces NFEs by repeatedly optimizing 3D parameters, unlike the single optimization in SDS, mimicking the 3D reconstruction process. With other improvements including optimization in the pixel space, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, retaining a comparable performance, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field and takes about 20 seconds to generate meshes from 3D Gaussian splitting on a single A100 GPU, halving the time of the fastest zero-shot baseline, DreamGaussian. Our code is available at https://github.com/ML-GSAI/MicroDreamer.