DreamPolisher: Op weg naar hoogwaardige tekst-naar-3D-generatie via geometrische diffusie

DreamPolisher: Towards High-Quality Text-to-3D Generation via Geometric Diffusion

March 25, 2024

Auteurs: Yuanze Lin, Ronald Clark, Philip Torr

cs.AI

Samenvatting

We presenteren DreamPolisher, een nieuwe op Gaussian Splatting gebaseerde methode met geometrische begeleiding, speciaal ontworpen om consistentie tussen verschillende aanzichten en gedetailleerde informatie te leren uit tekstuele beschrijvingen. Hoewel recente vooruitgang in tekst-naar-3D-generatiemethoden veelbelovend is, slagen bestaande methoden er vaak niet in om consistentie tussen aanzichten en textuurrijkdom te garanderen. Dit probleem wordt vooral opvallend bij methoden die uitsluitend werken met tekstuele invoer. Om dit aan te pakken, stellen we een tweestapsbenadering op basis van Gaussian Splatting voor die geometrische consistentie tussen aanzichten afdwingt. In eerste instantie ondergaat een ruwe 3D-generatie verfijning via geometrische optimalisatie. Vervolgens gebruiken we een ControlNet-gestuurde verfijner, gekoppeld aan de geometrische consistentieterm, om zowel de textuurgetrouwheid als de algehele consistentie van het gegenereerde 3D-model te verbeteren. Empirische evaluaties met diverse tekstuele prompts die verschillende objectcategorieën omvatten, tonen de effectiviteit van DreamPolisher aan in het genereren van consistente en realistische 3D-objecten die nauw aansluiten bij de semantiek van de tekstuele instructies.

English

We present DreamPolisher, a novel Gaussian Splatting based method with geometric guidance, tailored to learn cross-view consistency and intricate detail from textual descriptions. While recent progress on text-to-3D generation methods have been promising, prevailing methods often fail to ensure view-consistency and textural richness. This problem becomes particularly noticeable for methods that work with text input alone. To address this, we propose a two-stage Gaussian Splatting based approach that enforces geometric consistency among views. Initially, a coarse 3D generation undergoes refinement via geometric optimization. Subsequently, we use a ControlNet driven refiner coupled with the geometric consistency term to improve both texture fidelity and overall consistency of the generated 3D asset. Empirical evaluations across diverse textual prompts spanning various object categories demonstrate the efficacy of DreamPolisher in generating consistent and realistic 3D objects, aligning closely with the semantics of the textual instructions.