Paint3D: Рисуйте что угодно в 3D с помощью моделей диффузии текстур без освещения

Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models

December 21, 2023

Авторы: Xianfang Zeng, Xin Chen, Zhongqi Qi, Wen Liu, Zibo Zhao, Zhibin Wang, BIN FU, Yong Liu, Gang Yu

cs.AI

Аннотация

В данной статье представлен Paint3D — новый генеративный фреймворк, работающий по принципу от грубого к точному, который способен создавать высококачественные, лишенные освещения и разнообразные 2K UV-текстуры для не текстурированных 3D-мешей на основе текстовых или графических входных данных. Основная задача, решаемая в работе, — генерация высококачественных текстур без встроенной информации об освещении, что позволяет переосвещать или редактировать текстуры в современных графических конвейерах. Для достижения этой цели наш метод сначала использует предобученную 2D диффузионную модель, учитывающую глубину, для генерации изображений, зависящих от угла обзора, и выполнения слияния текстур из нескольких ракурсов, создавая начальную грубую текстуру. Однако, поскольку 2D-модели не могут полностью представить 3D-формы и устранить эффекты освещения, грубая текстура содержит незаполненные области и артефакты освещения. Для устранения этих недостатков мы обучаем отдельные модели UV Inpainting и UVHD, специализированные для осознанной доработки незаполненных областей и удаления артефактов освещения. Благодаря этому процессу от грубого к точному, Paint3D способен создавать высококачественные 2K UV-текстуры, которые сохраняют семантическую согласованность и лишены освещения, значительно продвигая современные методы текстурирования 3D-объектов.

English

This paper presents Paint3D, a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs. The key challenge addressed is generating high-quality textures without embedded illumination information, which allows the textures to be re-lighted or re-edited within modern graphics pipelines. To achieve this, our method first leverages a pre-trained depth-aware 2D diffusion model to generate view-conditional images and perform multi-view texture fusion, producing an initial coarse texture map. However, as 2D models cannot fully represent 3D shapes and disable lighting effects, the coarse texture map exhibits incomplete areas and illumination artifacts. To resolve this, we train separate UV Inpainting and UVHD diffusion models specialized for the shape-aware refinement of incomplete areas and the removal of illumination artifacts. Through this coarse-to-fine process, Paint3D can produce high-quality 2K UV textures that maintain semantic consistency while being lighting-less, significantly advancing the state-of-the-art in texturing 3D objects.