UniTEX : Texturage génératif haute fidélité universel pour les formes 3D

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

May 29, 2025

Auteurs: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

cs.AI

Résumé

Nous présentons UniTEX, un nouveau cadre de génération de textures 3D en deux étapes pour créer des textures de haute qualité et cohérentes pour des actifs 3D. Les approches existantes reposent principalement sur l'inpainting basé sur les UV pour affiner les textures après avoir reprojeté les images multi-vues générées sur les formes 3D, ce qui introduit des défis liés à l'ambiguïté topologique. Pour résoudre ce problème, nous proposons de contourner les limitations du mappage UV en opérant directement dans un espace fonctionnel 3D unifié. Plus précisément, nous proposons d'abord de porter la génération de textures dans l'espace 3D via les Fonctions de Texture (TFs)—une représentation volumétrique continue qui associe tout point 3D à une valeur de texture basée uniquement sur la proximité de la surface, indépendamment de la topologie du maillage. Ensuite, nous proposons de prédire ces TFs directement à partir d'images et de données géométriques en utilisant un modèle de texturage à grande échelle basé sur des transformateurs (LTM). Pour améliorer davantage la qualité des textures et tirer parti de puissants a priori 2D, nous développons une stratégie avancée basée sur LoRA pour adapter efficacement des Transformateurs de Diffusion à grande échelle (DiTs) pour la synthèse de textures multi-vues de haute qualité comme première étape. Des expériences approfondies démontrent qu'UniTEX atteint une qualité visuelle et une intégrité des textures supérieures aux approches existantes, offrant une solution généralisable et évolutive pour la génération automatisée de textures 3D. Le code sera disponible sur : https://github.com/YixunLiang/UniTEX.

English

We present UniTEX, a novel two-stage 3D texture generation framework to create high-quality, consistent textures for 3D assets. Existing approaches predominantly rely on UV-based inpainting to refine textures after reprojecting the generated multi-view images onto the 3D shapes, which introduces challenges related to topological ambiguity. To address this, we propose to bypass the limitations of UV mapping by operating directly in a unified 3D functional space. Specifically, we first propose that lifts texture generation into 3D space via Texture Functions (TFs)--a continuous, volumetric representation that maps any 3D point to a texture value based solely on surface proximity, independent of mesh topology. Then, we propose to predict these TFs directly from images and geometry inputs using a transformer-based Large Texturing Model (LTM). To further enhance texture quality and leverage powerful 2D priors, we develop an advanced LoRA-based strategy for efficiently adapting large-scale Diffusion Transformers (DiTs) for high-quality multi-view texture synthesis as our first stage. Extensive experiments demonstrate that UniTEX achieves superior visual quality and texture integrity compared to existing approaches, offering a generalizable and scalable solution for automated 3D texture generation. Code will available in: https://github.com/YixunLiang/UniTEX.