Texte-à-3D utilisant le lissage gaussien

Text-to-3D using Gaussian Splatting

September 28, 2023

papers.authors: Zilong Chen, Feng Wang, Huaping Liu

cs.AI

papers.abstract

Dans cet article, nous présentons GSGEN, une méthode innovante de génération de texte vers 3D basée sur le Gaussian Splatting, permettant de créer des objets 3D de haute qualité. Les approches précédentes souffrent d'une géométrie imprécise et d'une fidélité limitée en raison de l'absence de connaissances préalables en 3D et d'une représentation adéquate. Nous exploitons le Gaussian Splatting 3D, une représentation récente de pointe, pour pallier ces lacunes en tirant parti de sa nature explicite qui permet l'intégration de connaissances 3D. Concrètement, notre méthode adopte une stratégie d'optimisation progressive, comprenant une étape d'optimisation de la géométrie et une étape de raffinement de l'apparence. Lors de l'optimisation de la géométrie, une représentation grossière est établie en s'appuyant sur une connaissance préalable de la géométrie 3D ainsi que sur la perte SDS 2D classique, garantissant une forme approximative cohérente en 3D. Par la suite, les Gaussiennes obtenues subissent un raffinement itératif pour enrichir les détails. À cette étape, nous augmentons le nombre de Gaussiennes via une densification basée sur la compacité, améliorant ainsi la continuité et la fidélité. Grâce à ces choix de conception, notre approche permet de générer du contenu 3D avec des détails fins et une géométrie plus précise. Des évaluations approfondies démontrent l'efficacité de notre méthode, en particulier pour capturer les composantes haute fréquence. Les résultats vidéo sont disponibles à l'adresse https://gsgen3d.github.io. Notre code est accessible sur https://github.com/gsgen3d/gsgen.

English

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen