GaussianDreamerPro: Texto para Gaussianas 3D Manipuláveis com Qualidade Altamente Aprimorada

GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

June 26, 2024

Autores: Taoran Yi, Jiemin Fang, Zanwei Zhou, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Xinggang Wang, Qi Tian

cs.AI

Resumo

Recentemente, o splatting gaussiano 3D (3D-GS) tem alcançado grande sucesso na reconstrução e renderização de cenas do mundo real. Para transferir a alta qualidade de renderização para tarefas de geração, uma série de trabalhos de pesquisa tentam gerar ativos gaussianos 3D a partir de texto. No entanto, os ativos gerados não alcançaram a mesma qualidade daqueles nas tarefas de reconstrução. Observamos que os gaussianos tendem a crescer sem controle, já que o processo de geração pode causar indeterminação. Com o objetivo de melhorar significativamente a qualidade da geração, propomos um novo framework chamado GaussianDreamerPro. A ideia principal é vincular gaussianos a uma geometria razoável, que evolui ao longo de todo o processo de geração. Ao longo das diferentes etapas de nosso framework, tanto a geometria quanto a aparência podem ser enriquecidas progressivamente. O ativo de saída final é construído com gaussianos 3D vinculados a uma malha, que apresenta detalhes e qualidade significativamente aprimorados em comparação com métodos anteriores. Notavelmente, o ativo gerado também pode ser integrado perfeitamente em pipelines de manipulação subsequentes, como animação, composição e simulação, promovendo amplamente seu potencial em diversas aplicações. Demonstrativos estão disponíveis em https://taoranyi.com/gaussiandreamerpro/.

English

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.