UniTEX: Universelle hochfidel generative Texturierung für 3D-Formen

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

May 29, 2025

Autoren: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

cs.AI

Zusammenfassung

Wir stellen UniTEX vor, ein neuartiges zweistufiges Framework zur 3D-Texturgenerierung, das hochwertige, konsistente Texturen für 3D-Assets erzeugt. Bestehende Ansätze verlassen sich überwiegend auf UV-basiertes Inpainting, um Texturen zu verfeinern, nachdem die generierten Multi-View-Bilder auf die 3D-Formen reprojiziert wurden, was Herausforderungen im Zusammenhang mit topologischer Mehrdeutigkeit mit sich bringt. Um dies zu adressieren, schlagen wir vor, die Einschränkungen des UV-Mappings zu umgehen, indem direkt in einem einheitlichen 3D-Funktionsraum gearbeitet wird. Konkret schlagen wir zunächst vor, die Texturgenerierung mittels Texture Functions (TFs) in den 3D-Raum zu heben – eine kontinuierliche, volumetrische Darstellung, die jeden 3D-Punkt basierend ausschließlich auf der Oberflächennähe auf einen Texturwert abbildet, unabhängig von der Mesh-Topologie. Anschließend schlagen wir vor, diese TFs direkt aus Bild- und Geometrie-Eingaben mithilfe eines transformer-basierten Large Texturing Models (LTM) vorherzusagen. Um die Texturqualität weiter zu verbessern und leistungsstarke 2D-Priors zu nutzen, entwickeln wir eine fortschrittliche LoRA-basierte Strategie zur effizienten Anpassung von großskaligen Diffusion Transformers (DiTs) für die hochwertige Multi-View-Textursynthese als unsere erste Stufe. Umfangreiche Experimente zeigen, dass UniTEX im Vergleich zu bestehenden Ansätzen eine überlegene visuelle Qualität und Texturintegrität erreicht und eine generalisierbare und skalierbare Lösung für die automatisierte 3D-Texturgenerierung bietet. Der Code wird verfügbar sein unter: https://github.com/YixunLiang/UniTEX.

English

We present UniTEX, a novel two-stage 3D texture generation framework to create high-quality, consistent textures for 3D assets. Existing approaches predominantly rely on UV-based inpainting to refine textures after reprojecting the generated multi-view images onto the 3D shapes, which introduces challenges related to topological ambiguity. To address this, we propose to bypass the limitations of UV mapping by operating directly in a unified 3D functional space. Specifically, we first propose that lifts texture generation into 3D space via Texture Functions (TFs)--a continuous, volumetric representation that maps any 3D point to a texture value based solely on surface proximity, independent of mesh topology. Then, we propose to predict these TFs directly from images and geometry inputs using a transformer-based Large Texturing Model (LTM). To further enhance texture quality and leverage powerful 2D priors, we develop an advanced LoRA-based strategy for efficiently adapting large-scale Diffusion Transformers (DiTs) for high-quality multi-view texture synthesis as our first stage. Extensive experiments demonstrate that UniTEX achieves superior visual quality and texture integrity compared to existing approaches, offering a generalizable and scalable solution for automated 3D texture generation. Code will available in: https://github.com/YixunLiang/UniTEX.