GaussianDreamerPro : Conversion de texte en Gaussiennes 3D manipulables avec une qualité grandement améliorée

GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

June 26, 2024

Auteurs: Taoran Yi, Jiemin Fang, Zanwei Zhou, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Xinggang Wang, Qi Tian

cs.AI

Résumé

Récemment, le splatting de Gaussiennes 3D (3D-GS) a connu un grand succès dans la reconstruction et le rendu de scènes du monde réel. Pour transférer cette haute qualité de rendu aux tâches de génération, une série de travaux de recherche tentent de générer des assets en Gaussiennes 3D à partir de texte. Cependant, les assets générés n'ont pas atteint la même qualité que ceux des tâches de reconstruction. Nous observons que les Gaussiennes ont tendance à croître de manière incontrôlée, car le processus de génération peut introduire de l'indétermination. Dans le but d'améliorer considérablement la qualité de génération, nous proposons un nouveau cadre nommé GaussianDreamerPro. L'idée principale est de lier les Gaussiennes à une géométrie raisonnable, qui évolue tout au long du processus de génération. À différentes étapes de notre cadre, la géométrie et l'apparence peuvent être enrichies progressivement. L'asset final est construit avec des Gaussiennes 3D liées à un maillage, montrant des détails et une qualité significativement améliorés par rapport aux méthodes précédentes. Notamment, l'asset généré peut également être intégré de manière transparente dans des pipelines de manipulation en aval, tels que l'animation, la composition et la simulation, etc., ce qui accroît grandement son potentiel dans de nombreuses applications. Des démonstrations sont disponibles à l'adresse https://taoranyi.com/gaussiandreamerpro/.

English

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.