GaussianCube: Estruturando o Espalhamento Gaussiano usando Transporte Ótimo para Modelagem Generativa 3D

GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

March 28, 2024

Autores: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo

cs.AI

Resumo

O método 3D Gaussian Splatting (GS) alcançou uma melhoria considerável em relação aos Neural Radiance Fields em termos de fidelidade de ajuste 3D e velocidade de renderização. No entanto, essa representação não estruturada com Gaussianas dispersas apresenta um desafio significativo para a modelagem generativa. Para resolver esse problema, introduzimos o GaussianCube, uma representação estruturada de GS que é tanto poderosa quanto eficiente para modelagem generativa. Isso é alcançado primeiro propondo um algoritmo de ajuste de GS com restrição de densificação modificado, que pode produzir resultados de ajuste de alta qualidade usando um número fixo de Gaussianas livres, e depois reorganizando as Gaussianas em uma grade de voxel predefinida por meio de Transporte Ótimo. A representação estruturada em grade nos permite usar uma 3D U-Net padrão como nossa base na modelagem generativa por difusão sem designs elaborados. Experimentos extensivos realizados no ShapeNet e OmniObject3D mostram que nosso modelo alcança resultados de geração de última geração tanto qualitativa quanto quantitativamente, destacando o potencial do GaussianCube como uma representação 3D poderosa e versátil.

English

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.