UniTEX: Универсальное генеративное текстурирование высокой точности для 3D-моделей

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

May 29, 2025

Авторы: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

cs.AI

Аннотация

Мы представляем UniTEX — новый двухэтапный фреймворк для генерации 3D-текстур, позволяющий создавать высококачественные и согласованные текстуры для 3D-объектов. Существующие подходы в основном полагаются на UV-инпейнтинг для уточнения текстур после репроекции сгенерированных изображений с нескольких ракурсов на 3D-формы, что приводит к проблемам, связанным с топологической неоднозначностью. Чтобы решить эту задачу, мы предлагаем обойти ограничения UV-мэппинга, работая непосредственно в унифицированном 3D-функциональном пространстве. В частности, мы сначала предлагаем перенести генерацию текстур в 3D-пространство с помощью Текстурирующих Функций (Texture Functions, TFs) — непрерывного объемного представления, которое отображает любую 3D-точку в текстуру на основе близости к поверхности, независимо от топологии сетки. Затем мы предлагаем предсказывать эти TFs напрямую из изображений и геометрических данных с использованием трансформерной модели Large Texturing Model (LTM). Для дальнейшего повышения качества текстур и использования мощных 2D-приоров мы разработали продвинутую стратегию на основе LoRA, позволяющую эффективно адаптировать крупномасштабные Diffusion Transformers (DiTs) для высококачественного синтеза текстур с нескольких ракурсов на первом этапе. Многочисленные эксперименты демонстрируют, что UniTEX достигает превосходного визуального качества и целостности текстур по сравнению с существующими подходами, предлагая обобщаемое и масштабируемое решение для автоматической генерации 3D-текстур. Код будет доступен по адресу: https://github.com/YixunLiang/UniTEX.

English

We present UniTEX, a novel two-stage 3D texture generation framework to create high-quality, consistent textures for 3D assets. Existing approaches predominantly rely on UV-based inpainting to refine textures after reprojecting the generated multi-view images onto the 3D shapes, which introduces challenges related to topological ambiguity. To address this, we propose to bypass the limitations of UV mapping by operating directly in a unified 3D functional space. Specifically, we first propose that lifts texture generation into 3D space via Texture Functions (TFs)--a continuous, volumetric representation that maps any 3D point to a texture value based solely on surface proximity, independent of mesh topology. Then, we propose to predict these TFs directly from images and geometry inputs using a transformer-based Large Texturing Model (LTM). To further enhance texture quality and leverage powerful 2D priors, we develop an advanced LoRA-based strategy for efficiently adapting large-scale Diffusion Transformers (DiTs) for high-quality multi-view texture synthesis as our first stage. Extensive experiments demonstrate that UniTEX achieves superior visual quality and texture integrity compared to existing approaches, offering a generalizable and scalable solution for automated 3D texture generation. Code will available in: https://github.com/YixunLiang/UniTEX.