GaussianCube: Structurering van Gaussian Splatting met behulp van Optimal Transport voor 3D Generatieve Modellering

GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

March 28, 2024

Auteurs: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo

cs.AI

Samenvatting

3D Gaussian Splatting (GS) heeft aanzienlijke verbeteringen geboekt ten opzichte van Neural Radiance Fields wat betreft 3D-passingsnauwkeurigheid en renderingssnelheid. Deze ongestructureerde representatie met verspreide Gaussians vormt echter een grote uitdaging voor generatieve modellering. Om dit probleem aan te pakken, introduceren we GaussianCube, een gestructureerde GS-representatie die zowel krachtig als efficiënt is voor generatieve modellering. We bereiken dit door eerst een aangepast densificatie-beperkt GS-passingsalgoritme voor te stellen dat hoogwaardige passingsresultaten kan opleveren met een vast aantal vrije Gaussians, en vervolgens de Gaussians te herschikken in een vooraf gedefinieerd voxelgrid via Optimal Transport. De gestructureerde gridrepresentatie stelt ons in staat om een standaard 3D U-Net als backbone te gebruiken in diffusie-generatieve modellering zonder ingewikkelde ontwerpen. Uitgebreide experimenten uitgevoerd op ShapeNet en OmniObject3D tonen aan dat ons model state-of-the-art generatieresultaten behaalt, zowel kwalitatief als kwantitatief, wat het potentieel van GaussianCube als een krachtige en veelzijdige 3D-representatie onderstreept.

English

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.