Paint3D: Pintar cualquier cosa en 3D con modelos de difusión de texturas sin iluminación

Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models

December 21, 2023

Autores: Xianfang Zeng, Xin Chen, Zhongqi Qi, Wen Liu, Zibo Zhao, Zhibin Wang, BIN FU, Yong Liu, Gang Yu

cs.AI

Resumen

Este artículo presenta Paint3D, un novedoso marco generativo de enfoque grueso a fino capaz de producir mapas de texturas UV 2K de alta resolución, sin iluminación y diversos, para mallas 3D sin textura condicionadas por entradas de texto o imágenes. El desafío principal abordado es la generación de texturas de alta calidad sin información de iluminación integrada, lo que permite que las texturas sean reiluminadas o reeditadas dentro de pipelines gráficos modernos. Para lograrlo, nuestro método primero aprovecha un modelo de difusión 2D preentrenado con conciencia de profundidad para generar imágenes condicionadas por la vista y realizar una fusión de texturas multi-vista, produciendo un mapa de textura inicial grueso. Sin embargo, como los modelos 2D no pueden representar completamente formas 3D ni deshabilitar efectos de iluminación, el mapa de textura grueso presenta áreas incompletas y artefactos de iluminación. Para resolver esto, entrenamos modelos de difusión UV Inpainting y UVHD especializados en el refinamiento consciente de la forma de áreas incompletas y la eliminación de artefactos de iluminación. A través de este proceso de grueso a fino, Paint3D puede producir texturas UV 2K de alta calidad que mantienen la consistencia semántica mientras están libres de iluminación, avanzando significativamente el estado del arte en la texturización de objetos 3D.

English

This paper presents Paint3D, a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs. The key challenge addressed is generating high-quality textures without embedded illumination information, which allows the textures to be re-lighted or re-edited within modern graphics pipelines. To achieve this, our method first leverages a pre-trained depth-aware 2D diffusion model to generate view-conditional images and perform multi-view texture fusion, producing an initial coarse texture map. However, as 2D models cannot fully represent 3D shapes and disable lighting effects, the coarse texture map exhibits incomplete areas and illumination artifacts. To resolve this, we train separate UV Inpainting and UVHD diffusion models specialized for the shape-aware refinement of incomplete areas and the removal of illumination artifacts. Through this coarse-to-fine process, Paint3D can produce high-quality 2K UV textures that maintain semantic consistency while being lighting-less, significantly advancing the state-of-the-art in texturing 3D objects.