DreamPolisher: Путь к генерации текста в 3D высокого качества с использованием геометрической диффузии

DreamPolisher: Towards High-Quality Text-to-3D Generation via Geometric Diffusion

March 25, 2024

Авторы: Yuanze Lin, Ronald Clark, Philip Torr

cs.AI

Аннотация

Мы представляем DreamPolisher, новый метод на основе Гауссова сглаживания с геометрическим руководством, разработанный для изучения кросс-видовой согласованности и сложных деталей из текстовых описаний. В то время как недавние достижения в методах генерации 3D из текста обещают многое, преобладающие методы часто не обеспечивают видовую согласованность и текстурное богатство. Эта проблема становится особенно заметной для методов, работающих только с текстовым вводом. Для решения этой проблемы мы предлагаем двухэтапный подход на основе Гауссова сглаживания, который обеспечивает геометрическую согласованность между видами. Сначала грубая генерация 3D проходит уточнение через геометрическую оптимизацию. Затем мы используем улучшающийся рефайнер на основе ControlNet в сочетании с термином геометрической согласованности для улучшения как достоверности текстуры, так и общей согласованности созданного 3D-объекта. Эмпирические оценки по различным текстовым подсказкам, охватывающим различные категории объектов, демонстрируют эффективность DreamPolisher в создании последовательных и реалистичных 3D-объектов, тесно соответствующих семантике текстовых инструкций.

English

We present DreamPolisher, a novel Gaussian Splatting based method with geometric guidance, tailored to learn cross-view consistency and intricate detail from textual descriptions. While recent progress on text-to-3D generation methods have been promising, prevailing methods often fail to ensure view-consistency and textural richness. This problem becomes particularly noticeable for methods that work with text input alone. To address this, we propose a two-stage Gaussian Splatting based approach that enforces geometric consistency among views. Initially, a coarse 3D generation undergoes refinement via geometric optimization. Subsequently, we use a ControlNet driven refiner coupled with the geometric consistency term to improve both texture fidelity and overall consistency of the generated 3D asset. Empirical evaluations across diverse textual prompts spanning various object categories demonstrate the efficacy of DreamPolisher in generating consistent and realistic 3D objects, aligning closely with the semantics of the textual instructions.