Paint3D: Alles in 3D malen mit beleuchtungsfreien Textur-Diffusionsmodellen

Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models

December 21, 2023

Autoren: Xianfang Zeng, Xin Chen, Zhongqi Qi, Wen Liu, Zibo Zhao, Zhibin Wang, BIN FU, Yong Liu, Gang Yu

cs.AI

Zusammenfassung

Dieses Paper stellt Paint3D vor, ein neuartiges grob-zu-fein generatives Framework, das in der Lage ist, hochauflösende, beleuchtungsfreie und vielfältige 2K UV-Texturkarten für untexturierte 3D-Meshes zu erzeugen, die auf Text- oder Bildinputs basieren. Die zentrale Herausforderung, die adressiert wird, ist die Erzeugung hochwertiger Texturen ohne eingebettete Beleuchtungsinformationen, was es ermöglicht, die Texturen in modernen Grafikpipelines neu zu beleuchten oder zu bearbeiten. Um dies zu erreichen, nutzt unsere Methode zunächst ein vortrainiertes, tiefenbewusstes 2D-Diffusionsmodell, um sichtabhängige Bilder zu generieren und eine Multi-View-Texturfusion durchzuführen, wodurch eine initiale grobe Texturkarte erzeugt wird. Da 2D-Modelle jedoch 3D-Formen nicht vollständig darstellen und Beleuchtungseffekte deaktivieren können, weist die grobe Texturkarte unvollständige Bereiche und Beleuchtungsartefakte auf. Um dies zu beheben, trainieren wir separate UV-Inpainting- und UVHD-Diffusionsmodelle, die speziell für die formbewusste Verfeinerung unvollständiger Bereiche und die Entfernung von Beleuchtungsartefakten entwickelt wurden. Durch diesen grob-zu-fein Prozess kann Paint3D hochwertige 2K UV-Texturen erzeugen, die semantische Konsistenz bewahren und gleichzeitig beleuchtungsfrei sind, was den Stand der Technik in der Texturierung von 3D-Objekten erheblich voranbringt.

English

This paper presents Paint3D, a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs. The key challenge addressed is generating high-quality textures without embedded illumination information, which allows the textures to be re-lighted or re-edited within modern graphics pipelines. To achieve this, our method first leverages a pre-trained depth-aware 2D diffusion model to generate view-conditional images and perform multi-view texture fusion, producing an initial coarse texture map. However, as 2D models cannot fully represent 3D shapes and disable lighting effects, the coarse texture map exhibits incomplete areas and illumination artifacts. To resolve this, we train separate UV Inpainting and UVHD diffusion models specialized for the shape-aware refinement of incomplete areas and the removal of illumination artifacts. Through this coarse-to-fine process, Paint3D can produce high-quality 2K UV textures that maintain semantic consistency while being lighting-less, significantly advancing the state-of-the-art in texturing 3D objects.