Tekst-naar-3D met Gaussisch Splatten

Text-to-3D using Gaussian Splatting

September 28, 2023

Auteurs: Zilong Chen, Feng Wang, Huaping Liu

cs.AI

Samenvatting

In dit artikel presenteren we Gaussian Splatting gebaseerde tekst-naar-3D-generatie (GSGEN), een nieuwe aanpak voor het genereren van hoogwaardige 3D-objecten. Eerdere methoden kampen met onnauwkeurige geometrie en beperkte kwaliteit door het ontbreken van een 3D-prior en een geschikte representatie. Wij maken gebruik van 3D Gaussian Splatting, een recente state-of-the-art representatie, om bestaande tekortkomingen aan te pakken door het expliciete karakter ervan te benutten, wat de integratie van een 3D-prior mogelijk maakt. Specifiek neemt onze methode een progressieve optimalisatiestrategie aan, die een geometrie-optimalisatiefase en een uiterlijk-verfijningsfase omvat. In de geometrie-optimalisatie wordt een ruwe representatie vastgesteld onder een 3D-geometrieprior, samen met het gebruikelijke 2D SDS-verlies, wat zorgt voor een logische en 3D-consistente ruwe vorm. Vervolgens ondergaan de verkregen Gaussians een iteratieve verfijning om details te verrijken. In deze fase verhogen we het aantal Gaussians op basis van compactheid om continuïteit te verbeteren en de kwaliteit te verhogen. Met deze ontwerpen kan onze aanpak 3D-inhoud genereren met verfijnde details en nauwkeurigere geometrie. Uitgebreide evaluaties tonen de effectiviteit van onze methode aan, vooral voor het vastleggen van hoogfrequente componenten. Videoresultaten zijn beschikbaar op https://gsgen3d.github.io. Onze code is beschikbaar op https://github.com/gsgen3d/gsgen.

English

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen