UniTEX: Geração Universal de Texturas de Alta Fidelidade para Formas 3D

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

May 29, 2025

Autores: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

cs.AI

Resumo

Apresentamos o UniTEX, uma nova estrutura de geração de texturas 3D em dois estágios para criar texturas de alta qualidade e consistentes para ativos 3D. As abordagens existentes dependem predominantemente de inpainting baseado em UV para refinar as texturas após reprojetar as imagens geradas de múltiplas visões nas formas 3D, o que introduz desafios relacionados à ambiguidade topológica. Para resolver isso, propomos contornar as limitações do mapeamento UV operando diretamente em um espaço funcional 3D unificado. Especificamente, primeiro propomos elevar a geração de texturas para o espaço 3D por meio de Funções de Textura (TFs)—uma representação volumétrica contínua que mapeia qualquer ponto 3D para um valor de textura com base apenas na proximidade da superfície, independente da topologia da malha. Em seguida, propomos prever essas TFs diretamente a partir de entradas de imagens e geometria usando um Modelo de Texturização em Grande Escala (LTM) baseado em transformers. Para aprimorar ainda mais a qualidade das texturas e aproveitar poderosos priors 2D, desenvolvemos uma estratégia avançada baseada em LoRA para adaptar eficientemente Transformers de Difusão em Grande Escala (DiTs) para a síntese de texturas de múltiplas visões de alta qualidade como nosso primeiro estágio. Experimentos extensivos demonstram que o UniTEX alcança qualidade visual superior e integridade de textura em comparação com as abordagens existentes, oferecendo uma solução generalizável e escalável para a geração automatizada de texturas 3D. O código estará disponível em: https://github.com/YixunLiang/UniTEX.

English

We present UniTEX, a novel two-stage 3D texture generation framework to create high-quality, consistent textures for 3D assets. Existing approaches predominantly rely on UV-based inpainting to refine textures after reprojecting the generated multi-view images onto the 3D shapes, which introduces challenges related to topological ambiguity. To address this, we propose to bypass the limitations of UV mapping by operating directly in a unified 3D functional space. Specifically, we first propose that lifts texture generation into 3D space via Texture Functions (TFs)--a continuous, volumetric representation that maps any 3D point to a texture value based solely on surface proximity, independent of mesh topology. Then, we propose to predict these TFs directly from images and geometry inputs using a transformer-based Large Texturing Model (LTM). To further enhance texture quality and leverage powerful 2D priors, we develop an advanced LoRA-based strategy for efficiently adapting large-scale Diffusion Transformers (DiTs) for high-quality multi-view texture synthesis as our first stage. Extensive experiments demonstrate that UniTEX achieves superior visual quality and texture integrity compared to existing approaches, offering a generalizable and scalable solution for automated 3D texture generation. Code will available in: https://github.com/YixunLiang/UniTEX.