GaussianCube: Strukturierung von Gauss'schem Splatting unter Verwendung von Optimal Transport für die 3D-generative Modellierung

GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling

March 28, 2024

Autoren: Bowen Zhang, Yiji Cheng, Jiaolong Yang, Chunyu Wang, Feng Zhao, Yansong Tang, Dong Chen, Baining Guo

cs.AI

Zusammenfassung

3D-Gauß-Splatting (GS) hat in Bezug auf 3D-Anpassungsgenauigkeit und Rendering-Geschwindigkeit erhebliche Verbesserungen gegenüber Neural Radiance Fields erzielt. Diese unstrukturierte Darstellung mit verstreuten Gaußschen Funktionen stellt jedoch eine bedeutende Herausforderung für die generative Modellierung dar. Um das Problem anzugehen, führen wir GaussianCube ein, eine strukturierte GS-Darstellung, die sowohl leistungsstark als auch effizient für die generative Modellierung ist. Dies erreichen wir, indem wir zunächst einen modifizierten Dichtebeschränkten GS-Anpassungsalgorithmus vorschlagen, der hochwertige Anpassungsergebnisse unter Verwendung einer festen Anzahl freier Gaußscher Funktionen liefern kann, und dann die Gaußschen Funktionen über Optimal Transport in ein vordefiniertes Voxelgitter umordnen. Die strukturierte Gitterdarstellung ermöglicht es uns, den Standard-3D-U-Net als Backbone in der diffusiven generativen Modellierung ohne aufwändige Designs zu verwenden. Umfangreiche Experimente, die an ShapeNet und OmniObject3D durchgeführt wurden, zeigen, dass unser Modell sowohl qualitativ als auch quantitativ Spitzenresultate in der Generierung erzielt und das Potenzial von GaussianCube als leistungsstarke und vielseitige 3D-Darstellung unterstreichen.

English

3D Gaussian Splatting (GS) have achieved considerable improvement over Neural Radiance Fields in terms of 3D fitting fidelity and rendering speed. However, this unstructured representation with scattered Gaussians poses a significant challenge for generative modeling. To address the problem, we introduce GaussianCube, a structured GS representation that is both powerful and efficient for generative modeling. We achieve this by first proposing a modified densification-constrained GS fitting algorithm which can yield high-quality fitting results using a fixed number of free Gaussians, and then re-arranging the Gaussians into a predefined voxel grid via Optimal Transport. The structured grid representation allows us to use standard 3D U-Net as our backbone in diffusion generative modeling without elaborate designs. Extensive experiments conducted on ShapeNet and OmniObject3D show that our model achieves state-of-the-art generation results both qualitatively and quantitatively, underscoring the potential of GaussianCube as a powerful and versatile 3D representation.