Paint3D: Schilder Alles in 3D met Texture Diffusiemodellen zonder Belichting

Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models

December 21, 2023

Auteurs: Xianfang Zeng, Xin Chen, Zhongqi Qi, Wen Liu, Zibo Zhao, Zhibin Wang, BIN FU, Yong Liu, Gang Yu

cs.AI

Samenvatting

Dit artikel presenteert Paint3D, een nieuw generatief raamwerk van grof naar fijn dat in staat is om hoogwaardige, verlichtingsvrije en diverse 2K UV-textuurkaarten te produceren voor ongetextureerde 3D-meshes, gebaseerd op tekst- of beeldinvoer. De belangrijkste uitdaging die wordt aangepakt, is het genereren van hoogwaardige texturen zonder ingebedde verlichtingsinformatie, wat het mogelijk maakt om de texturen opnieuw te belichten of te bewerken binnen moderne grafische pijplijnen. Om dit te bereiken, maakt onze methode eerst gebruik van een vooraf getraind dieptegevoelig 2D-diffusiemodel om beeldgeconditioneerde afbeeldingen te genereren en multi-view textuurfusie uit te voeren, wat resulteert in een initiële grove textuurkaart. Omdat 2D-modellen echter niet volledig 3D-vormen kunnen weergeven en verlichtingseffecten uitschakelen, vertoont de grove textuurkaart onvolledige gebieden en verlichtingsartefacten. Om dit op te lossen, trainen we aparte UV-inpainting- en UVHD-diffusiemodellen die gespecialiseerd zijn in de vormbewuste verfijning van onvolledige gebieden en het verwijderen van verlichtingsartefacten. Door dit proces van grof naar fijn kan Paint3D hoogwaardige 2K UV-texturen produceren die semantische consistentie behouden terwijl ze verlichtingsvrij zijn, wat een significante vooruitgang betekent in de state-of-the-art van het textureren van 3D-objecten.

English

This paper presents Paint3D, a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs. The key challenge addressed is generating high-quality textures without embedded illumination information, which allows the textures to be re-lighted or re-edited within modern graphics pipelines. To achieve this, our method first leverages a pre-trained depth-aware 2D diffusion model to generate view-conditional images and perform multi-view texture fusion, producing an initial coarse texture map. However, as 2D models cannot fully represent 3D shapes and disable lighting effects, the coarse texture map exhibits incomplete areas and illumination artifacts. To resolve this, we train separate UV Inpainting and UVHD diffusion models specialized for the shape-aware refinement of incomplete areas and the removal of illumination artifacts. Through this coarse-to-fine process, Paint3D can produce high-quality 2K UV textures that maintain semantic consistency while being lighting-less, significantly advancing the state-of-the-art in texturing 3D objects.