GaussianDreamerPro: Text zu manipulierbaren 3D-Gaußschen mit stark verbesserter Qualität

GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

June 26, 2024

Autoren: Taoran Yi, Jiemin Fang, Zanwei Zhou, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Xinggang Wang, Qi Tian

cs.AI

Zusammenfassung

In letzter Zeit hat die 3D-Gaußsche Splatting-Technik (3D-GS) große Erfolge bei der Rekonstruktion und Darstellung realer Szenen erzielt. Um die hohe Darstellungsqualität auf Generierungsaufgaben zu übertragen, versuchen eine Reihe von Forschungsarbeiten, 3D-Gaußsche Elemente aus Text zu generieren. Die generierten Elemente haben jedoch nicht die gleiche Qualität wie die in Rekonstruktionsaufgaben. Wir beobachten, dass die Gaußschen Elemente dazu neigen, unkontrolliert zu wachsen, da der Generierungsprozess Unbestimmtheit verursachen kann. Mit dem Ziel, die Generierungsqualität erheblich zu verbessern, schlagen wir ein neuartiges Framework namens GaussianDreamerPro vor. Die Hauptidee besteht darin, Gaußsche Elemente an eine plausible Geometrie zu binden, die sich über den gesamten Generierungsprozess entwickelt. In verschiedenen Phasen unseres Frameworks können sowohl die Geometrie als auch das Erscheinungsbild schrittweise bereichert werden. Das endgültige generierte Element wird mit 3D-Gaußschen Elementen gebunden an ein Netz konstruiert, was im Vergleich zu früheren Methoden deutlich verbesserte Details und Qualität zeigt. Bemerkenswert ist, dass das generierte Element auch nahtlos in nachgelagerte Manipulationspipelines integriert werden kann, z. B. Animation, Komposition und Simulation usw., was sein Potenzial für vielfältige Anwendungen erheblich fördert. Demos sind verfügbar unter https://taoranyi.com/gaussiandreamerpro/.

English

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.