DreamPolisher: Rumo à Geração de Texto para 3D de Alta Qualidade por meio de Difusão Geométrica

DreamPolisher: Towards High-Quality Text-to-3D Generation via Geometric Diffusion

March 25, 2024

Autores: Yuanze Lin, Ronald Clark, Philip Torr

cs.AI

Resumo

Apresentamos o DreamPolisher, um novo método baseado em Gaussian Splatting com orientação geométrica, projetado para aprender consistência entre visões e detalhes intrincados a partir de descrições textuais. Embora os avanços recentes em métodos de geração de texto para 3D tenham sido promissores, os métodos predominantes frequentemente falham em garantir consistência de visão e riqueza textural. Esse problema torna-se particularmente evidente em métodos que operam apenas com entrada textual. Para resolver isso, propomos uma abordagem em duas etapas baseada em Gaussian Splatting que reforça a consistência geométrica entre as visões. Inicialmente, uma geração 3D grosseira passa por um refinamento via otimização geométrica. Em seguida, utilizamos um refinador guiado por ControlNet, acoplado ao termo de consistência geométrica, para melhorar tanto a fidelidade textural quanto a consistência geral do ativo 3D gerado. Avaliações empíricas com diversos prompts textuais abrangendo várias categorias de objetos demonstram a eficácia do DreamPolisher na geração de objetos 3D consistentes e realistas, alinhando-se de perto com a semântica das instruções textuais.

English

We present DreamPolisher, a novel Gaussian Splatting based method with geometric guidance, tailored to learn cross-view consistency and intricate detail from textual descriptions. While recent progress on text-to-3D generation methods have been promising, prevailing methods often fail to ensure view-consistency and textural richness. This problem becomes particularly noticeable for methods that work with text input alone. To address this, we propose a two-stage Gaussian Splatting based approach that enforces geometric consistency among views. Initially, a coarse 3D generation undergoes refinement via geometric optimization. Subsequently, we use a ControlNet driven refiner coupled with the geometric consistency term to improve both texture fidelity and overall consistency of the generated 3D asset. Empirical evaluations across diverse textual prompts spanning various object categories demonstrate the efficacy of DreamPolisher in generating consistent and realistic 3D objects, aligning closely with the semantics of the textual instructions.