Text-zu-3D mit Gaußschem Splatting

Text-to-3D using Gaussian Splatting

September 28, 2023

papers.authors: Zilong Chen, Feng Wang, Huaping Liu

cs.AI

papers.abstract

In diesem Artikel präsentieren wir Gaussian Splatting basierte Text-zu-3D-Generierung (GSGEN), einen neuartigen Ansatz zur Erzeugung hochwertiger 3D-Objekte. Bisherige Methoden leiden unter ungenauer Geometrie und begrenzter Detailtreue aufgrund des Fehlens von 3D-Priorwissen und geeigneter Repräsentation. Wir nutzen 3D Gaussian Splatting, eine aktuelle state-of-the-art Repräsentation, um bestehende Schwächen zu beheben, indem wir den expliziten Charakter ausnutzen, der die Einbindung von 3D-Priorwissen ermöglicht. Konkret verfolgt unsere Methode eine progressive Optimierungsstrategie, die eine Geometrieoptimierungsphase und eine Erscheinungsverfeinerungsphase umfasst. In der Geometrieoptimierung wird eine grobe Repräsentation unter einem 3D-Geometrie-Prior zusammen mit dem üblichen 2D-SDS-Verlust etabliert, wodurch eine sinnvolle und 3D-konsistente grobe Form sichergestellt wird. Anschließend durchlaufen die erhaltenen Gaussians eine iterative Verfeinerung, um Details zu bereichern. In dieser Phase erhöhen wir die Anzahl der Gaussians durch kompaktheitsbasierte Verdichtung, um die Kontinuität zu verbessern und die Detailtreue zu steigern. Mit diesen Konzepten kann unser Ansatz 3D-Inhalte mit feinen Details und präziserer Geometrie erzeugen. Umfangreiche Auswertungen demonstrieren die Effektivität unserer Methode, insbesondere bei der Erfassung hochfrequenter Komponenten. Videoergebnisse sind unter https://gsgen3d.github.io verfügbar. Unser Code ist unter https://github.com/gsgen3d/gsgen zugänglich.

English

In this paper, we present Gaussian Splatting based text-to-3D generation (GSGEN), a novel approach for generating high-quality 3D objects. Previous methods suffer from inaccurate geometry and limited fidelity due to the absence of 3D prior and proper representation. We leverage 3D Gaussian Splatting, a recent state-of-the-art representation, to address existing shortcomings by exploiting the explicit nature that enables the incorporation of 3D prior. Specifically, our method adopts a progressive optimization strategy, which includes a geometry optimization stage and an appearance refinement stage. In geometry optimization, a coarse representation is established under a 3D geometry prior along with the ordinary 2D SDS loss, ensuring a sensible and 3D-consistent rough shape. Subsequently, the obtained Gaussians undergo an iterative refinement to enrich details. In this stage, we increase the number of Gaussians by compactness-based densification to enhance continuity and improve fidelity. With these designs, our approach can generate 3D content with delicate details and more accurate geometry. Extensive evaluations demonstrate the effectiveness of our method, especially for capturing high-frequency components. Video results are provided at https://gsgen3d.github.io. Our code is available at https://github.com/gsgen3d/gsgen