GaussianDreamerPro: Преобразование текста в манипулируемые 3D гауссианы с высоким качеством.

GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

June 26, 2024

Авторы: Taoran Yi, Jiemin Fang, Zanwei Zhou, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Xinggang Wang, Qi Tian

cs.AI

Аннотация

Недавно 3D-гауссово сглаживание (3D-GS) достигло больших успехов в реконструировании и визуализации сцен реального мира. Для передачи высокого качества визуализации в задачи генерации, ряд исследовательских работ пытаются генерировать 3D-гауссовские объекты из текста. Однако сгенерированные объекты не достигли того же качества, что и в задачах реконструкции. Мы замечаем, что гауссианы склонны к неуправляемому росту, так как процесс генерации может вызывать неопределенность. С целью значительного улучшения качества генерации мы предлагаем новую структуру, названную GaussianDreamerPro. Основная идея заключается в привязке гауссиан к разумной геометрии, которая развивается на протяжении всего процесса генерации. На различных этапах нашей структуры как геометрия, так и внешний вид могут постепенно обогащаться. Конечный выходной объект создается с 3D-гауссианами, привязанными к сетке, что показывает значительно улучшенные детали и качество по сравнению с предыдущими методами. Следует отметить, что сгенерированный объект также может быть легко интегрирован в последующие конвейеры обработки, например, анимацию, композицию, симуляцию и т. д., что значительно расширяет его потенциал в различных областях применения. Демонстрации доступны по адресу https://taoranyi.com/gaussiandreamerpro/.

English

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.