TraumPolierer: Auf dem Weg zur hochwertigen Text-zu-3D-Generierung durch geometrische Diffusion

DreamPolisher: Towards High-Quality Text-to-3D Generation via Geometric Diffusion

March 25, 2024

Autoren: Yuanze Lin, Ronald Clark, Philip Torr

cs.AI

Zusammenfassung

Wir präsentieren DreamPolisher, eine neuartige auf Gauss'schem Splatting basierende Methode mit geometrischer Führung, die darauf abzielt, die konsistente Darstellung aus verschiedenen Ansichten und feine Details aus textuellen Beschreibungen zu erlernen. Während die jüngsten Fortschritte bei Methoden zur Generierung von 3D-Modellen aus Text vielversprechend waren, scheitern vorherrschende Methoden oft daran, Ansichtskonsistenz und textliche Vielfalt sicherzustellen. Dieses Problem wird besonders deutlich bei Methoden, die ausschließlich mit Texteingaben arbeiten. Um dies zu lösen, schlagen wir einen zweistufigen Ansatz auf Basis von Gauss'schem Splatting vor, der eine geometrische Konsistenz zwischen den Ansichten erzwingt. Zunächst durchläuft eine grobe 3D-Generierung eine Verfeinerung durch geometrische Optimierung. Anschließend verwenden wir einen durch ControlNet gesteuerten Verfeinerer in Verbindung mit dem geometrischen Konsistenzterm, um sowohl die Texturtreue als auch die Gesamtkonsistenz des generierten 3D-Objekts zu verbessern. Empirische Bewertungen über verschiedene textuelle Eingaben, die verschiedene Objektkategorien abdecken, zeigen die Wirksamkeit von DreamPolisher bei der Erzeugung konsistenter und realistischer 3D-Objekte, die eng mit der Semantik der textlichen Anweisungen übereinstimmen.

English

We present DreamPolisher, a novel Gaussian Splatting based method with geometric guidance, tailored to learn cross-view consistency and intricate detail from textual descriptions. While recent progress on text-to-3D generation methods have been promising, prevailing methods often fail to ensure view-consistency and textural richness. This problem becomes particularly noticeable for methods that work with text input alone. To address this, we propose a two-stage Gaussian Splatting based approach that enforces geometric consistency among views. Initially, a coarse 3D generation undergoes refinement via geometric optimization. Subsequently, we use a ControlNet driven refiner coupled with the geometric consistency term to improve both texture fidelity and overall consistency of the generated 3D asset. Empirical evaluations across diverse textual prompts spanning various object categories demonstrate the efficacy of DreamPolisher in generating consistent and realistic 3D objects, aligning closely with the semantics of the textual instructions.