DreamPolisher: Hacia la Generación de Texto a 3D de Alta Calidad mediante Difusión Geométrica

DreamPolisher: Towards High-Quality Text-to-3D Generation via Geometric Diffusion

March 25, 2024

Autores: Yuanze Lin, Ronald Clark, Philip Torr

cs.AI

Resumen

Presentamos DreamPolisher, un novedoso método basado en Gaussian Splatting con guía geométrica, diseñado para aprender consistencia entre vistas y detalles intrincados a partir de descripciones textuales. Si bien los avances recientes en métodos de generación de texto a 3D han sido prometedores, los enfoques predominantes a menudo no logran garantizar la consistencia entre vistas y la riqueza textural. Este problema se vuelve particularmente evidente en los métodos que trabajan únicamente con entrada de texto. Para abordar esto, proponemos un enfoque en dos etapas basado en Gaussian Splatting que refuerza la consistencia geométrica entre vistas. Inicialmente, una generación 3D aproximada se somete a un refinamiento mediante optimización geométrica. Posteriormente, utilizamos un refinador impulsado por ControlNet, acoplado con un término de consistencia geométrica, para mejorar tanto la fidelidad textural como la consistencia general del activo 3D generado. Evaluaciones empíricas en diversos prompts textuales que abarcan varias categorías de objetos demuestran la eficacia de DreamPolisher en la generación de objetos 3D consistentes y realistas, alineándose estrechamente con la semántica de las instrucciones textuales.

English

We present DreamPolisher, a novel Gaussian Splatting based method with geometric guidance, tailored to learn cross-view consistency and intricate detail from textual descriptions. While recent progress on text-to-3D generation methods have been promising, prevailing methods often fail to ensure view-consistency and textural richness. This problem becomes particularly noticeable for methods that work with text input alone. To address this, we propose a two-stage Gaussian Splatting based approach that enforces geometric consistency among views. Initially, a coarse 3D generation undergoes refinement via geometric optimization. Subsequently, we use a ControlNet driven refiner coupled with the geometric consistency term to improve both texture fidelity and overall consistency of the generated 3D asset. Empirical evaluations across diverse textual prompts spanning various object categories demonstrate the efficacy of DreamPolisher in generating consistent and realistic 3D objects, aligning closely with the semantics of the textual instructions.