GaussianCube: 最適輸送を用いたガウシアンスプラッティングの構造化による3次元生成モデリング

GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

March 28, 2024

著者: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo

cs.AI

要旨

3Dガウシアンスプラッティング（GS）は、3Dフィッティングの忠実度とレンダリング速度において、ニューラルラジアンスフィールドを大きく上回る進歩を遂げています。しかし、散在するガウシアンからなるこの非構造化表現は、生成モデリングにおいて重大な課題を提起します。この問題に対処するため、我々はGaussianCubeを導入します。これは、生成モデリングにおいて強力かつ効率的な構造化GS表現です。これを実現するために、まず固定数の自由ガウシアンを用いて高品質なフィッティング結果を得られる、修正版の高密度化制約付きGSフィッティングアルゴリズムを提案し、次に最適輸送を介してガウシアンを事前定義されたボクセルグリッドに再配置します。この構造化グリッド表現により、複雑な設計を必要とせずに標準的な3D U-Netを拡散生成モデリングのバックボーンとして使用することが可能になります。ShapeNetとOmniObject3Dで実施した広範な実験により、我々のモデルが質的・量的に最先端の生成結果を達成することが示され、GaussianCubeが強力で汎用性の高い3D表現としての可能性を強調しています。

English

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.