UniTEX: Generazione Universale di Texture ad Alta Fedeltà per Forme 3D

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

May 29, 2025

Autori: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

cs.AI

Abstract

Presentiamo UniTEX, un innovativo framework a due stadi per la generazione di texture 3D, progettato per creare texture di alta qualità e coerenti per asset 3D. Gli approcci esistenti si basano principalmente sull'inpainting basato su UV per affinare le texture dopo aver riproiettato le immagini multi-vista generate sulle forme 3D, introducendo sfide legate all'ambiguità topologica. Per affrontare questo problema, proponiamo di superare i limiti del mapping UV operando direttamente in uno spazio funzionale 3D unificato. Nello specifico, inizialmente proponiamo di elevare la generazione di texture nello spazio 3D attraverso le Funzioni di Texture (TFs)—una rappresentazione volumetrica continua che mappa qualsiasi punto 3D a un valore di texture basato esclusivamente sulla prossimità della superficie, indipendentemente dalla topologia della mesh. Successivamente, proponiamo di prevedere queste TFs direttamente da immagini e input geometrici utilizzando un Large Texturing Model (LTM) basato su transformer. Per migliorare ulteriormente la qualità delle texture e sfruttare potenti priorità 2D, sviluppiamo una strategia avanzata basata su LoRA per adattare in modo efficiente i Diffusion Transformers (DiTs) su larga scala per la sintesi di texture multi-vista di alta qualità come nostro primo stadio. Esperimenti estensivi dimostrano che UniTEX raggiunge una qualità visiva e un'integrità delle texture superiori rispetto agli approcci esistenti, offrendo una soluzione generalizzabile e scalabile per la generazione automatica di texture 3D. Il codice sarà disponibile su: https://github.com/YixunLiang/UniTEX.

English

We present UniTEX, a novel two-stage 3D texture generation framework to create high-quality, consistent textures for 3D assets. Existing approaches predominantly rely on UV-based inpainting to refine textures after reprojecting the generated multi-view images onto the 3D shapes, which introduces challenges related to topological ambiguity. To address this, we propose to bypass the limitations of UV mapping by operating directly in a unified 3D functional space. Specifically, we first propose that lifts texture generation into 3D space via Texture Functions (TFs)--a continuous, volumetric representation that maps any 3D point to a texture value based solely on surface proximity, independent of mesh topology. Then, we propose to predict these TFs directly from images and geometry inputs using a transformer-based Large Texturing Model (LTM). To further enhance texture quality and leverage powerful 2D priors, we develop an advanced LoRA-based strategy for efficiently adapting large-scale Diffusion Transformers (DiTs) for high-quality multi-view texture synthesis as our first stage. Extensive experiments demonstrate that UniTEX achieves superior visual quality and texture integrity compared to existing approaches, offering a generalizable and scalable solution for automated 3D texture generation. Code will available in: https://github.com/YixunLiang/UniTEX.