DreamGaussian: Generatives Gaußsches Splatting für effiziente 3D-Inhaltserstellung

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

September 28, 2023

Autoren: Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng

cs.AI

Zusammenfassung

Jüngste Fortschritte in der 3D-Inhaltserstellung nutzen überwiegend optimierungsbasierte 3D-Generierung mittels Score Distillation Sampling (SDS). Obwohl vielversprechende Ergebnisse erzielt wurden, leiden diese Methoden oft unter einer langsamen Optimierung pro Probe, was ihre praktische Anwendbarkeit einschränkt. In diesem Artikel stellen wir DreamGaussian vor, ein neuartiges Framework zur 3D-Inhaltsgenerierung, das sowohl Effizienz als auch Qualität gleichzeitig erreicht. Unser zentraler Ansatz besteht darin, ein generatives 3D-Gaussian-Splatting-Modell zu entwickeln, das mit einer begleitenden Meshextraktion und Texturverfeinerung im UV-Raum kombiniert wird. Im Gegensatz zur Besetzungsreduzierung, die bei Neural Radiance Fields verwendet wird, zeigen wir, dass die progressive Verdichtung von 3D-Gaußschen Funktionen für 3D-Generierungsaufgaben deutlich schneller konvergiert. Um die Texturqualität weiter zu verbessern und nachgelagerte Anwendungen zu erleichtern, führen wir einen effizienten Algorithmus ein, der 3D-Gaußsche Funktionen in texturierte Meshes umwandelt, und wenden eine Feinabstimmungsphase an, um die Details zu verfeinern. Umfangreiche Experimente demonstrieren die überlegene Effizienz und konkurrenzfähige Generierungsqualität unseres vorgeschlagenen Ansatzes. Bemerkenswerterweise erzeugt DreamGaussian hochwertige texturierte Meshes in nur 2 Minuten aus einem Einzelbild und erreicht damit eine etwa 10-fache Beschleunigung im Vergleich zu bestehenden Methoden.

English

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.