DreamGaussian: Генеративное гауссово размытие для эффективного создания 3D-контента

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

September 28, 2023

Авторы: Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng

cs.AI

Аннотация

Последние достижения в создании 3D-контента в основном используют оптимизационные методы генерации через сэмплирование с использованием оценки (SDS). Хотя эти методы демонстрируют многообещающие результаты, они часто страдают от медленной оптимизации для каждого отдельного образца, что ограничивает их практическое применение. В данной статье мы предлагаем DreamGaussian — новый фреймворк для генерации 3D-контента, который одновременно обеспечивает эффективность и высокое качество. Наше ключевое наблюдение заключается в разработке генеративной модели 3D-гауссовых сплатов с сопутствующим извлечением мешей и уточнением текстур в UV-пространстве. В отличие от обрезки по занятости, используемой в полях нейронного излучения (NeRF), мы показываем, что прогрессивное уплотнение 3D-гауссовых функций сходится значительно быстрее для задач генерации 3D. Для дальнейшего улучшения качества текстур и упрощения последующих применений мы представляем эффективный алгоритм преобразования 3D-гауссовых функций в текстурированные меши и применяем этап тонкой настройки для уточнения деталей. Многочисленные эксперименты демонстрируют превосходную эффективность и конкурентоспособное качество генерации нашего подхода. В частности, DreamGaussian создает высококачественные текстурированные меши всего за 2 минуты из изображения с одного ракурса, обеспечивая ускорение примерно в 10 раз по сравнению с существующими методами.

English

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.