DreamGaussian: Generatief Gaussisch Splatten voor Efficiënte 3D-Inhoudscreatie

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

September 28, 2023

Auteurs: Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng

cs.AI

Samenvatting

Recente vooruitgang in 3D-contentcreatie maakt vooral gebruik van optimalisatiegebaseerde 3D-generatie via score-distillatie-steekproeven (SDS). Hoewel veelbelovende resultaten zijn getoond, lijden deze methoden vaak onder trage optimalisatie per sample, wat hun praktische gebruik beperkt. In dit artikel stellen we DreamGaussian voor, een nieuw 3D-contentgeneratiekader dat zowel efficiëntie als kwaliteit tegelijkertijd bereikt. Onze belangrijkste inzicht is het ontwerpen van een generatief 3D Gaussian Splatting-model met begeleide mesh-extractie en textuurverfijning in UV-ruimte. In tegenstelling tot de bezettingssnoei die wordt gebruikt in Neural Radiance Fields, laten we zien dat de progressieve verdichting van 3D Gaussians aanzienlijk sneller convergeert voor 3D-generatietaken. Om de textuurkwaliteit verder te verbeteren en downstream-toepassingen te vergemakkelijken, introduceren we een efficiënt algoritme om 3D Gaussians om te zetten in getextureerde meshes en passen we een fine-tuning-fase toe om de details te verfijnen. Uitgebreide experimenten tonen de superieure efficiëntie en competitieve generatiekwaliteit van onze voorgestelde aanpak aan. Opmerkelijk is dat DreamGaussian hoogwaardige getextureerde meshes produceert in slechts 2 minuten vanuit een enkelbeeld, wat een versnelling van ongeveer 10 keer oplevert in vergelijking met bestaande methoden.

English

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.