UniTEX: 3D 형태를 위한 범용 고화질 생성 텍스처링

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

May 29, 2025

저자: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

cs.AI

초록

우리는 3D 자산을 위한 고품질의 일관된 텍스처를 생성하기 위한 새로운 2단계 3D 텍스처 생성 프레임워크인 UniTEX를 소개합니다. 기존 접근 방식은 생성된 다중 뷰 이미지를 3D 형태로 재투영한 후 UV 기반 인페인팅을 통해 텍스처를 정제하는 데 주로 의존하며, 이는 토폴로지적 모호성과 관련된 문제를 야기합니다. 이를 해결하기 위해, 우리는 UV 매핑의 한계를 우회하여 통합된 3D 함수 공간에서 직접 작동하는 방법을 제안합니다. 구체적으로, 우리는 먼저 텍스처 함수(TFs)를 통해 텍스처 생성을 3D 공간으로 끌어올리는 것을 제안합니다. TFs는 메쉬 토폴로지와 무관하게 표면 근접성에 기반하여 3D 점을 텍스처 값으로 매핑하는 연속적인 볼륨 표현입니다. 그런 다음, 우리는 트랜스포머 기반의 대형 텍스처링 모델(LTM)을 사용하여 이미지와 기하학적 입력으로부터 이러한 TFs를 직접 예측하는 방법을 제안합니다. 텍스처 품질을 더욱 향상시키고 강력한 2D 사전 지식을 활용하기 위해, 우리는 고품질 다중 뷰 텍스처 합성을 위한 대규모 Diffusion Transformers(DiTs)를 효율적으로 적응시키기 위한 고급 LoRA 기반 전략을 첫 번째 단계로 개발했습니다. 광범위한 실험을 통해 UniTEX가 기존 접근 방식에 비해 우수한 시각적 품질과 텍스처 무결성을 달성하며, 자동화된 3D 텍스처 생성을 위한 일반화 가능하고 확장 가능한 솔루션을 제공함을 입증했습니다. 코드는 https://github.com/YixunLiang/UniTEX에서 제공될 예정입니다.

English

We present UniTEX, a novel two-stage 3D texture generation framework to create high-quality, consistent textures for 3D assets. Existing approaches predominantly rely on UV-based inpainting to refine textures after reprojecting the generated multi-view images onto the 3D shapes, which introduces challenges related to topological ambiguity. To address this, we propose to bypass the limitations of UV mapping by operating directly in a unified 3D functional space. Specifically, we first propose that lifts texture generation into 3D space via Texture Functions (TFs)--a continuous, volumetric representation that maps any 3D point to a texture value based solely on surface proximity, independent of mesh topology. Then, we propose to predict these TFs directly from images and geometry inputs using a transformer-based Large Texturing Model (LTM). To further enhance texture quality and leverage powerful 2D priors, we develop an advanced LoRA-based strategy for efficiently adapting large-scale Diffusion Transformers (DiTs) for high-quality multi-view texture synthesis as our first stage. Extensive experiments demonstrate that UniTEX achieves superior visual quality and texture integrity compared to existing approaches, offering a generalizable and scalable solution for automated 3D texture generation. Code will available in: https://github.com/YixunLiang/UniTEX.