UniTEX: Generación Universal de Texturas de Alta Fidelidad para Formas 3D

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

May 29, 2025

Autores: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

cs.AI

Resumen

Presentamos UniTEX, un novedoso marco de generación de texturas 3D en dos etapas para crear texturas de alta calidad y consistentes para activos 3D. Los enfoques existentes se basan principalmente en la restauración basada en UV para refinar las texturas después de reproyectar las imágenes generadas desde múltiples vistas sobre las formas 3D, lo que introduce desafíos relacionados con la ambigüedad topológica. Para abordar esto, proponemos evitar las limitaciones del mapeo UV operando directamente en un espacio funcional 3D unificado. Específicamente, primero proponemos elevar la generación de texturas al espacio 3D mediante Funciones de Textura (TFs, por sus siglas en inglés): una representación volumétrica continua que mapea cualquier punto 3D a un valor de textura basado únicamente en la proximidad de la superficie, independiente de la topología de la malla. Luego, proponemos predecir estas TFs directamente a partir de imágenes y entradas de geometría utilizando un Modelo de Texturizado a Gran Escala (LTM, por sus siglas en inglés) basado en transformadores. Para mejorar aún más la calidad de las texturas y aprovechar potentes conocimientos previos en 2D, desarrollamos una estrategia avanzada basada en LoRA para adaptar eficientemente Transformadores de Difusión a Gran Escala (DiTs, por sus siglas en inglés) para la síntesis de texturas de múltiples vistas de alta calidad como nuestra primera etapa. Experimentos extensivos demuestran que UniTEX logra una calidad visual y una integridad de textura superiores en comparación con los enfoques existentes, ofreciendo una solución generalizable y escalable para la generación automatizada de texturas 3D. El código estará disponible en: https://github.com/YixunLiang/UniTEX.

English

We present UniTEX, a novel two-stage 3D texture generation framework to create high-quality, consistent textures for 3D assets. Existing approaches predominantly rely on UV-based inpainting to refine textures after reprojecting the generated multi-view images onto the 3D shapes, which introduces challenges related to topological ambiguity. To address this, we propose to bypass the limitations of UV mapping by operating directly in a unified 3D functional space. Specifically, we first propose that lifts texture generation into 3D space via Texture Functions (TFs)--a continuous, volumetric representation that maps any 3D point to a texture value based solely on surface proximity, independent of mesh topology. Then, we propose to predict these TFs directly from images and geometry inputs using a transformer-based Large Texturing Model (LTM). To further enhance texture quality and leverage powerful 2D priors, we develop an advanced LoRA-based strategy for efficiently adapting large-scale Diffusion Transformers (DiTs) for high-quality multi-view texture synthesis as our first stage. Extensive experiments demonstrate that UniTEX achieves superior visual quality and texture integrity compared to existing approaches, offering a generalizable and scalable solution for automated 3D texture generation. Code will available in: https://github.com/YixunLiang/UniTEX.