UniTEX: Universele hoogwaardige generatieve texturering voor 3D-vormen

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

May 29, 2025

Auteurs: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

cs.AI

Samenvatting

We presenteren UniTEX, een innovatief tweestaps 3D-textuurgeneratieframework voor het creëren van hoogwaardige, consistente texturen voor 3D-assets. Bestaande benaderingen vertrouwen voornamelijk op UV-gebaseerde inpainting om texturen te verfijnen na het opnieuw projecteren van de gegenereerde multi-view afbeeldingen op de 3D-vormen, wat uitdagingen met zich meebrengt gerelateerd aan topologische ambiguïteit. Om dit aan te pakken, stellen we voor om de beperkingen van UV-mapping te omzeilen door direct te werken in een verenigde 3D-functionele ruimte. Specifiek stellen we eerst voor om textuurgeneratie naar 3D-ruimte te tillen via Texture Functions (TFs)—een continue, volumetrische representatie die elk 3D-punt mapt naar een textuurwaarde op basis van oppervlakteproximiteit, onafhankelijk van mesh-topologie. Vervolgens stellen we voor om deze TFs direct te voorspellen vanuit afbeeldingen en geometrie-invoer met behulp van een transformer-gebaseerd Large Texturing Model (LTM). Om de textuurkwaliteit verder te verbeteren en krachtige 2D-priors te benutten, ontwikkelen we een geavanceerde LoRA-gebaseerde strategie voor het efficiënt aanpassen van grootschalige Diffusion Transformers (DiTs) voor hoogwaardige multi-view textuursynthese als onze eerste fase. Uitgebreide experimenten tonen aan dat UniTEX superieure visuele kwaliteit en textuurintegriteit bereikt in vergelijking met bestaande benaderingen, en biedt een generaliseerbare en schaalbare oplossing voor geautomatiseerde 3D-textuurgeneratie. Code zal beschikbaar zijn op: https://github.com/YixunLiang/UniTEX.

English

We present UniTEX, a novel two-stage 3D texture generation framework to create high-quality, consistent textures for 3D assets. Existing approaches predominantly rely on UV-based inpainting to refine textures after reprojecting the generated multi-view images onto the 3D shapes, which introduces challenges related to topological ambiguity. To address this, we propose to bypass the limitations of UV mapping by operating directly in a unified 3D functional space. Specifically, we first propose that lifts texture generation into 3D space via Texture Functions (TFs)--a continuous, volumetric representation that maps any 3D point to a texture value based solely on surface proximity, independent of mesh topology. Then, we propose to predict these TFs directly from images and geometry inputs using a transformer-based Large Texturing Model (LTM). To further enhance texture quality and leverage powerful 2D priors, we develop an advanced LoRA-based strategy for efficiently adapting large-scale Diffusion Transformers (DiTs) for high-quality multi-view texture synthesis as our first stage. Extensive experiments demonstrate that UniTEX achieves superior visual quality and texture integrity compared to existing approaches, offering a generalizable and scalable solution for automated 3D texture generation. Code will available in: https://github.com/YixunLiang/UniTEX.