GaussianCube : Structuration du Splatting Gaussien par Transport Optimal pour la Modélisation Générative 3D

GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

March 28, 2024

Auteurs: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo

cs.AI

Résumé

Le 3D Gaussian Splatting (GS) a permis des améliorations significatives par rapport aux Neural Radiance Fields en termes de fidélité d'ajustement 3D et de vitesse de rendu. Cependant, cette représentation non structurée avec des Gaussiennes dispersées présente un défi majeur pour la modélisation générative. Pour résoudre ce problème, nous introduisons GaussianCube, une représentation structurée du GS qui est à la fois puissante et efficace pour la modélisation générative. Nous y parvenons en proposant d'abord un algorithme d'ajustement GS modifié avec contrainte de densification, capable de produire des résultats d'ajustement de haute qualité en utilisant un nombre fixe de Gaussiennes libres, puis en réorganisant les Gaussiennes dans une grille voxel prédéfinie via le Transport Optimal. La représentation structurée en grille nous permet d'utiliser un U-Net 3D standard comme architecture principale dans la modélisation générative par diffusion, sans nécessiter de conceptions élaborées. Des expériences approfondies menées sur ShapeNet et OmniObject3D montrent que notre modèle atteint des résultats de génération à la pointe de l'état de l'art, tant qualitativement que quantitativement, soulignant le potentiel de GaussianCube comme une représentation 3D puissante et polyvalente.

English

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.