GaussianCube: Strutturazione dello Splatting Gaussiano mediante Trasporto Ottimale per la Modellazione Generativa 3D

GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

March 28, 2024

Autori: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo

cs.AI

Abstract

Il 3D Gaussian Splatting (GS) ha ottenuto miglioramenti significativi rispetto ai Neural Radiance Fields in termini di fedeltà di adattamento 3D e velocità di rendering. Tuttavia, questa rappresentazione non strutturata con Gaussiane sparse rappresenta una sfida significativa per la modellazione generativa. Per affrontare il problema, introduciamo GaussianCube, una rappresentazione strutturata di GS che è sia potente che efficiente per la modellazione generativa. Raggiungiamo questo obiettivo proponendo innanzitutto un algoritmo di adattamento GS modificato con vincoli di densificazione, che può produrre risultati di adattamento di alta qualità utilizzando un numero fisso di Gaussiane libere, e poi riorganizzando le Gaussiane in una griglia di voxel predefinita tramite Optimal Transport. La rappresentazione strutturata su griglia ci consente di utilizzare una standard 3D U-Net come backbone nella modellazione generativa basata su diffusione senza necessità di progettazioni elaborate. Esperimenti estensivi condotti su ShapeNet e OmniObject3D dimostrano che il nostro modello raggiunge risultati di generazione all'avanguardia sia qualitativamente che quantitativamente, evidenziando il potenziale di GaussianCube come rappresentazione 3D potente e versatile.

English

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.