Paint3D : Peindre en 3D avec des modèles de diffusion de texture sans éclairage

Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models

December 21, 2023

Auteurs: Xianfang Zeng, Xin Chen, Zhongqi Qi, Wen Liu, Zibo Zhao, Zhibin Wang, BIN FU, Yong Liu, Gang Yu

cs.AI

Résumé

Cet article présente Paint3D, un nouveau cadre génératif allant du grossier au fin, capable de produire des cartes de textures UV 2K haute résolution, sans éclairage et diversifiées pour des maillages 3D non texturés, conditionnées par des entrées textuelles ou visuelles. Le défi principal abordé est la génération de textures de haute qualité sans informations d'éclairage intégrées, ce qui permet aux textures d'être rééclairées ou rééditées dans les pipelines graphiques modernes. Pour y parvenir, notre méthode exploite d'abord un modèle de diffusion 2D pré-entraîné prenant en compte la profondeur pour générer des images conditionnelles par vue et effectuer une fusion de textures multi-vues, produisant ainsi une carte de texture grossière initiale. Cependant, comme les modèles 2D ne peuvent pas pleinement représenter les formes 3D et désactivent les effets d'éclairage, la carte de texture grossière présente des zones incomplètes et des artefacts d'illumination. Pour résoudre ce problème, nous entraînons des modèles de diffusion UV Inpainting et UVHD spécialisés pour le raffinement conscient de la forme des zones incomplètes et l'élimination des artefacts d'illumination. Grâce à ce processus allant du grossier au fin, Paint3D peut produire des textures UV 2K de haute qualité qui maintiennent une cohérence sémantique tout en étant sans éclairage, faisant ainsi progresser de manière significative l'état de l'art dans la texturation d'objets 3D.

English

This paper presents Paint3D, a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs. The key challenge addressed is generating high-quality textures without embedded illumination information, which allows the textures to be re-lighted or re-edited within modern graphics pipelines. To achieve this, our method first leverages a pre-trained depth-aware 2D diffusion model to generate view-conditional images and perform multi-view texture fusion, producing an initial coarse texture map. However, as 2D models cannot fully represent 3D shapes and disable lighting effects, the coarse texture map exhibits incomplete areas and illumination artifacts. To resolve this, we train separate UV Inpainting and UVHD diffusion models specialized for the shape-aware refinement of incomplete areas and the removal of illumination artifacts. Through this coarse-to-fine process, Paint3D can produce high-quality 2K UV textures that maintain semantic consistency while being lighting-less, significantly advancing the state-of-the-art in texturing 3D objects.