Текст-в-3D с использованием гауссовых сплатов

Text-to-3D using Gaussian Splatting

September 28, 2023

Авторы: Zilong Chen, Feng Wang, Huaping Liu

cs.AI

Аннотация

В данной статье мы представляем метод генерации 3D-объектов на основе текстовых описаний с использованием гауссовых сплатов (GSGEN), который предлагает новый подход для создания высококачественных 3D-моделей. Предыдущие методы страдают от неточной геометрии и ограниченной детализации из-за отсутствия 3D-приоритета и подходящего представления. Мы используем 3D Gaussian Splatting — современное представление, которое позволяет устранить существующие недостатки благодаря своей явной природе, обеспечивающей включение 3D-приоритета. В частности, наш метод применяет прогрессивную стратегию оптимизации, включающую этап оптимизации геометрии и этап уточнения внешнего вида. На этапе оптимизации геометрии создается грубое представление с учетом 3D-геометрического приоритета вместе с обычной 2D SDS-функцией потерь, что обеспечивает разумную и 3D-согласованную грубую форму. Затем полученные гауссовы распределения подвергаются итеративному уточнению для обогащения деталей. На этом этапе мы увеличиваем количество гауссовых распределений за счет уплотнения на основе компактности, чтобы улучшить непрерывность и повысить детализацию. Благодаря этим решениям наш подход позволяет создавать 3D-контент с тонкими деталями и более точной геометрией. Обширные оценки демонстрируют эффективность нашего метода, особенно в захвате высокочастотных компонентов. Видео результаты доступны по адресу https://gsgen3d.github.io. Наш код можно найти на https://github.com/gsgen3d/gsgen.

English

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen