Paint3D: 조명 없는 텍스처 확산 모델로 모든 것을 3D로 페인팅하기

초록

본 논문은 텍스트 또는 이미지 입력을 조건으로 하여 텍스처가 없는 3D 메시에 대해 고해상도, 조명 정보가 없는 다양한 2K UV 텍스처 맵을 생성할 수 있는 새로운 coarse-to-fine 생성 프레임워크인 Paint3D를 소개합니다. 이 연구에서 해결한 핵심 과제는 내장된 조명 정보 없이 고품질 텍스처를 생성하는 것으로, 이를 통해 현대 그래픽 파이프라인 내에서 텍스처를 재조명하거나 재편집할 수 있습니다. 이를 달성하기 위해, 우리의 방법은 먼저 사전 학습된 깊이 인식 2D 확산 모델을 활용하여 뷰 조건부 이미지를 생성하고 다중 뷰 텍스처 융합을 수행하여 초기 coarse 텍스처 맵을 생성합니다. 그러나 2D 모델은 3D 형태를 완전히 표현할 수 없고 조명 효과를 비활성화할 수 없기 때문에, coarse 텍스처 맵은 불완전한 영역과 조명 아티팩트를 보입니다. 이를 해결하기 위해, 우리는 불완전한 영역의 형태 인식 정제와 조명 아티팩트 제거에 특화된 별도의 UV 인페인팅 및 UVHD 확산 모델을 학습합니다. 이러한 coarse-to-fine 프로세스를 통해 Paint3D는 조명 정보가 없으면서도 의미론적 일관성을 유지하는 고품질 2K UV 텍스처를 생성할 수 있으며, 이는 3D 객체 텍스처링의 최신 기술을 크게 발전시킵니다.

English

This paper presents Paint3D, a novel coarse-to-fine generative framework that is capable of producing high-resolution, lighting-less, and diverse 2K UV texture maps for untextured 3D meshes conditioned on text or image inputs. The key challenge addressed is generating high-quality textures without embedded illumination information, which allows the textures to be re-lighted or re-edited within modern graphics pipelines. To achieve this, our method first leverages a pre-trained depth-aware 2D diffusion model to generate view-conditional images and perform multi-view texture fusion, producing an initial coarse texture map. However, as 2D models cannot fully represent 3D shapes and disable lighting effects, the coarse texture map exhibits incomplete areas and illumination artifacts. To resolve this, we train separate UV Inpainting and UVHD diffusion models specialized for the shape-aware refinement of incomplete areas and the removal of illumination artifacts. Through this coarse-to-fine process, Paint3D can produce high-quality 2K UV textures that maintain semantic consistency while being lighting-less, significantly advancing the state-of-the-art in texturing 3D objects.

Paint3D: 조명 없는 텍스처 확산 모델로 모든 것을 3D로 페인팅하기

Paint3D: Paint Anything 3D with Lighting-Less Texture Diffusion Models

초록

Support