UniTEX: 3D形状のためのユニバーサル高忠実度生成テクスチャリング

UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes

May 29, 2025

著者: Yixun Liang, Kunming Luo, Xiao Chen, Rui Chen, Hongyu Yan, Weiyu Li, Jiarui Liu, Ping Tan

cs.AI

要旨

我々は、高品質で一貫性のある3Dアセットのテクスチャを生成するための新しい2段階の3Dテクスチャ生成フレームワークであるUniTEXを提案します。既存のアプローチは、生成されたマルチビュー画像を3D形状に再投影した後、UVベースのインペインティングを使用してテクスチャを精製する方法が主流であり、これはトポロジーの曖昧さに関連する課題を引き起こします。この問題に対処するため、我々はUVマッピングの制限を回避し、統一された3D関数空間で直接操作することを提案します。具体的には、まず、テクスチャ関数（TFs）を介してテクスチャ生成を3D空間に持ち上げることを提案します。TFsは、メッシュトポロジーに依存せず、表面近接度に基づいて任意の3Dポイントをテクスチャ値にマッピングする連続的な体積表現です。次に、Transformerベースの大規模テクスチャモデル（LTM）を使用して、画像とジオメトリ入力からこれらのTFsを直接予測することを提案します。さらに、テクスチャ品質を向上させ、強力な2D事前分布を活用するために、高品質なマルチビューテクスチャ合成のための大規模Diffusion Transformers（DiTs）を効率的に適応させるための高度なLoRAベースの戦略を第1段階として開発しました。広範な実験により、UniTEXが既存のアプローチと比較して優れた視覚品質とテクスチャの整合性を達成し、自動化された3Dテクスチャ生成のための汎用的でスケーラブルなソリューションを提供することが実証されました。コードは以下で公開予定です: https://github.com/YixunLiang/UniTEX。

English

We present UniTEX, a novel two-stage 3D texture generation framework to create high-quality, consistent textures for 3D assets. Existing approaches predominantly rely on UV-based inpainting to refine textures after reprojecting the generated multi-view images onto the 3D shapes, which introduces challenges related to topological ambiguity. To address this, we propose to bypass the limitations of UV mapping by operating directly in a unified 3D functional space. Specifically, we first propose that lifts texture generation into 3D space via Texture Functions (TFs)--a continuous, volumetric representation that maps any 3D point to a texture value based solely on surface proximity, independent of mesh topology. Then, we propose to predict these TFs directly from images and geometry inputs using a transformer-based Large Texturing Model (LTM). To further enhance texture quality and leverage powerful 2D priors, we develop an advanced LoRA-based strategy for efficiently adapting large-scale Diffusion Transformers (DiTs) for high-quality multi-view texture synthesis as our first stage. Extensive experiments demonstrate that UniTEX achieves superior visual quality and texture integrity compared to existing approaches, offering a generalizable and scalable solution for automated 3D texture generation. Code will available in: https://github.com/YixunLiang/UniTEX.