DreamGaussian: Splatting Gaussiano Generativo per la Creazione Efficiente di Contenuti 3D

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation

September 28, 2023

Autori: Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng

cs.AI

Abstract

I recenti progressi nella creazione di contenuti 3D si basano principalmente su metodi di generazione 3D basati su ottimizzazione tramite il campionamento per distillazione del punteggio (SDS). Sebbene siano stati ottenuti risultati promettenti, questi metodi spesso soffrono di un'ottimizzazione lenta per campione, limitandone l'uso pratico. In questo articolo, proponiamo DreamGaussian, un nuovo framework per la generazione di contenuti 3D che raggiunge simultaneamente efficienza e qualità. La nostra intuizione chiave è progettare un modello generativo di 3D Gaussian Splatting accompagnato da estrazione di mesh e raffinatura delle texture nello spazio UV. A differenza della potatura dell'occupazione utilizzata nei Neural Radiance Fields, dimostriamo che la densificazione progressiva delle Gaussiane 3D converge significativamente più velocemente per compiti generativi 3D. Per migliorare ulteriormente la qualità delle texture e facilitare le applicazioni a valle, introduciamo un algoritmo efficiente per convertire le Gaussiane 3D in mesh con texture e applichiamo una fase di fine-tuning per affinare i dettagli. Esperimenti estensivi dimostrano la superiorità in termini di efficienza e la qualità generativa competitiva del nostro approccio proposto. In particolare, DreamGaussian produce mesh con texture di alta qualità in soli 2 minuti partendo da un'immagine a singola vista, ottenendo un'accelerazione di circa 10 volte rispetto ai metodi esistenti.

English

Recent advances in 3D content creation mostly leverage optimization-based 3D generation via score distillation sampling (SDS). Though promising results have been exhibited, these methods often suffer from slow per-sample optimization, limiting their practical usage. In this paper, we propose DreamGaussian, a novel 3D content generation framework that achieves both efficiency and quality simultaneously. Our key insight is to design a generative 3D Gaussian Splatting model with companioned mesh extraction and texture refinement in UV space. In contrast to the occupancy pruning used in Neural Radiance Fields, we demonstrate that the progressive densification of 3D Gaussians converges significantly faster for 3D generative tasks. To further enhance the texture quality and facilitate downstream applications, we introduce an efficient algorithm to convert 3D Gaussians into textured meshes and apply a fine-tuning stage to refine the details. Extensive experiments demonstrate the superior efficiency and competitive generation quality of our proposed approach. Notably, DreamGaussian produces high-quality textured meshes in just 2 minutes from a single-view image, achieving approximately 10 times acceleration compared to existing methods.