GaussianDreamerPro: 高度に品質が向上した操作可能な3Dガウシアンをテキストから生成

GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

June 26, 2024

著者: Taoran Yi, Jiemin Fang, Zanwei Zhou, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Xinggang Wang, Qi Tian

cs.AI

要旨

最近、3Dガウシアンスプラッティング（3D-GS）は、実世界のシーンの再構築とレンダリングにおいて大きな成功を収めています。この高品質なレンダリングを生成タスクに転送するために、一連の研究がテキストから3Dガウシアンアセットを生成しようと試みています。しかし、生成されたアセットは再構築タスクと同じ品質に達していません。生成プロセスが不確定性を引き起こすため、ガウシアンが制御なく成長する傾向があることが観察されています。生成品質を大幅に向上させることを目指し、我々はGaussianDreamerProという新しいフレームワークを提案します。主なアイデアは、ガウシアンを合理的なジオメトリにバインドし、それが生成プロセス全体にわたって進化することです。フレームワークの異なる段階に沿って、ジオメトリと外観の両方が徐々に豊かになります。最終的な出力アセットは、メッシュにバインドされた3Dガウシアンで構成され、以前の方法と比較して大幅に詳細と品質が向上しています。特に、生成されたアセットは、アニメーション、合成、シミュレーションなどの下流の操作パイプラインにシームレスに統合することができ、幅広いアプリケーションでの可能性を大いに促進します。デモはhttps://taoranyi.com/gaussiandreamerpro/で利用可能です。

English

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.