GaussianCube: Estructuración de la técnica Gaussian Splatting mediante Transporte Óptimo para el Modelado Generativo 3D

GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

March 28, 2024

Autores: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo

cs.AI

Resumen

El método de 3D Gaussian Splatting (GS) ha logrado una mejora considerable en comparación con los Campos de Radiancia Neural en términos de fidelidad de ajuste 3D y velocidad de renderizado. Sin embargo, esta representación no estructurada con gaussianos dispersos presenta un desafío significativo para el modelado generativo. Para abordar este problema, presentamos GaussianCube, una representación estructurada de GS que es tanto potente como eficiente para el modelado generativo. Lo logramos primero proponiendo un algoritmo de ajuste de GS con restricción de densificación modificado, que puede producir resultados de ajuste de alta calidad utilizando un número fijo de gaussianos libres, y luego reorganizando los gaussianos en una cuadrícula de vóxeles predefinida mediante Transporte Óptimo. La representación estructurada en cuadrícula nos permite utilizar una red 3D U-Net estándar como columna vertebral en el modelado generativo de difusión sin diseños elaborados. Experimentos exhaustivos realizados en ShapeNet y OmniObject3D muestran que nuestro modelo alcanza resultados de generación de vanguardia tanto cualitativa como cuantitativamente, destacando el potencial de GaussianCube como una representación 3D potente y versátil.

English

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.