GaussianDreamerPro: Da testo a Gaussiane 3D manipolabili con qualità altamente migliorata

GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

June 26, 2024

Autori: Taoran Yi, Jiemin Fang, Zanwei Zhou, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Xinggang Wang, Qi Tian

cs.AI

Abstract

Recentemente, la tecnica di splatting con Gaussiane 3D (3D-GS) ha ottenuto un grande successo nella ricostruzione e nel rendering di scene del mondo reale. Per trasferire l'elevata qualità di rendering ai compiti di generazione, una serie di lavori di ricerca ha tentato di generare asset 3D-Gaussiane a partire da testo. Tuttavia, gli asset generati non hanno raggiunto la stessa qualità di quelli nei compiti di ricostruzione. Si osserva che le Gaussiane tendono a crescere senza controllo, poiché il processo di generazione può causare indeterminatezza. Con l'obiettivo di migliorare significativamente la qualità della generazione, proponiamo un nuovo framework denominato GaussianDreamerPro. L'idea principale è quella di vincolare le Gaussiane a una geometria ragionevole, che si evolve durante l'intero processo di generazione. Lungo le diverse fasi del nostro framework, sia la geometria che l'aspetto possono essere arricchiti progressivamente. L'asset finale è costruito con Gaussiane 3D vincolate a una mesh, che mostra dettagli e qualità significativamente migliorati rispetto ai metodi precedenti. Inoltre, l'asset generato può essere integrato senza soluzione di continuità nelle pipeline di manipolazione a valle, come animazione, composizione e simulazione, promuovendo notevolmente il suo potenziale in un'ampia gamma di applicazioni. Le demo sono disponibili all'indirizzo https://taoranyi.com/gaussiandreamerpro/.

English

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.