МикроМечтатель: Генерация трехмерных изображений без обучения за 20 секунд с использованием итеративной реконструкции на основе оценки.

MicroDreamer: Zero-shot 3D Generation in sim20 Seconds by Score-based Iterative Reconstruction

April 30, 2024

Авторы: Luxi Chen, Zhengyi Wang, Chongxuan Li, Tingting Gao, Hang Su, Jun Zhu

cs.AI

Аннотация

Подходы на основе оптимизации, такие как сэмплирование дистилляции оценок (SDS), обещают в области генерации трехмерных объектов без обучения, но страдают от низкой эффективности, в основном из-за большого количества оценок функций (NFE), необходимых для каждого образца. В данной статье мы представляем итеративную реконструкцию на основе оценок (SIR), эффективный и общий алгоритм для генерации трехмерных объектов с использованием многопредставленной модели диффузии на основе оценок. Учитывая изображения, созданные моделью диффузии, SIR снижает количество оценок функций путем многократной оптимизации параметров трехмерной модели, в отличие от однократной оптимизации в SDS, имитируя процесс трехмерной реконструкции. С улучшениями, включая оптимизацию в пространстве пикселей, мы представляем эффективный подход под названием MicroDreamer, который обычно применим к различным трехмерным представлениям и задачам генерации трехмерных объектов. В частности, сохраняя сопоставимую производительность, MicroDreamer работает в 5-20 раз быстрее, чем SDS при генерации нейронного радиационного поля и требует около 20 секунд для создания сеток из трехмерного гауссовского разделения на одном графическом процессоре A100, сокращая время самого быстрого базового нулевого подхода, DreamGaussian, пополам. Наш код доступен по адресу https://github.com/ML-GSAI/MicroDreamer.

English

Optimization-based approaches, such as score distillation sampling (SDS), show promise in zero-shot 3D generation but suffer from low efficiency, primarily due to the high number of function evaluations (NFEs) required for each sample. In this paper, we introduce score-based iterative reconstruction (SIR), an efficient and general algorithm for 3D generation with a multi-view score-based diffusion model. Given the images produced by the diffusion model, SIR reduces NFEs by repeatedly optimizing 3D parameters, unlike the single optimization in SDS, mimicking the 3D reconstruction process. With other improvements including optimization in the pixel space, we present an efficient approach called MicroDreamer that generally applies to various 3D representations and 3D generation tasks. In particular, retaining a comparable performance, MicroDreamer is 5-20 times faster than SDS in generating neural radiance field and takes about 20 seconds to generate meshes from 3D Gaussian splitting on a single A100 GPU, halving the time of the fastest zero-shot baseline, DreamGaussian. Our code is available at https://github.com/ML-GSAI/MicroDreamer.