GaussianDreamerPro: Tekst naar manipuleerbare 3D Gaussiaanse modellen met sterk verbeterde kwaliteit

GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

June 26, 2024

Auteurs: Taoran Yi, Jiemin Fang, Zanwei Zhou, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Xinggang Wang, Qi Tian

cs.AI

Samenvatting

Onlangs heeft 3D Gaussian splatting (3D-GS) grote successen geboekt bij het reconstrueren en renderen van real-world scènes. Om de hoge renderkwaliteit over te brengen naar generatietaken, heeft een reeks onderzoekswerken geprobeerd om 3D-Gaussian-assets te genereren uit tekst. De gegenereerde assets hebben echter niet dezelfde kwaliteit bereikt als die in reconstructietaken. We observeren dat Gaussians de neiging hebben om onbeheerst te groeien, wat onbepaaldheid kan veroorzaken tijdens het generatieproces. Om de generatiekwaliteit aanzienlijk te verbeteren, stellen we een nieuw framework voor genaamd GaussianDreamerPro. Het hoofdidee is om Gaussians te binden aan redelijke geometrie, die zich gedurende het hele generatieproces ontwikkelt. In verschillende fasen van ons framework kunnen zowel de geometrie als het uiterlijk progressief worden verrijkt. Het uiteindelijke output-asset wordt geconstrueerd met 3D Gaussians gebonden aan een mesh, wat aanzienlijk verbeterde details en kwaliteit laat zien in vergelijking met eerdere methoden. Opmerkelijk is dat het gegenereerde asset ook naadloos kan worden geïntegreerd in downstream manipulatiepijplijnen, zoals animatie, compositie en simulatie, wat het potentieel voor brede toepassingen sterk bevordert. Demo's zijn beschikbaar op https://taoranyi.com/gaussiandreamerpro/.

English

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.