NaTex：潜在色拡散としてのシームレスなテクスチャ生成

要旨

本論文では、3D空間内で直接テクスチャカラーを予測するネイティブテクスチャ生成フレームワーク「NaTex」を提案する。幾何条件付きマルチビュー拡散モデル（MVD）で合成された2Dマルチビュー画像のベイキングに依存する従来手法とは異なり、NaTexはMVDパイプラインに内在するいくつかの限界を回避する。これには、インペインティングを必要とする閉塞領域の処理困難性、境界に沿ったメッシュとテクスチャの精密な位置合わせの達成、コンテンツおよび色強度における視点間の一貫性とコヒーレンスの維持が含まれる。NaTexは、テクスチャを高密度なカラーポイントクラウドとして捉える新規パラダイムを特徴とし、上述した課題に対処する。この考え方に基づき、テクスチャ再構成と生成のために、3Dデータを用いてゼロから訓練される幾何形状認識カラーポイントクラウドVAEとマルチ制御拡散Transformer（DiT）から構成される「潜在カラー拡散」を提案する。精密な位置合わせを実現するため、位置埋め込みと幾何学潜在変数を介してDiTを直接3D空間情報で条件付ける「ネイティブ幾何学制御」を導入する。VAE-DiTアーキテクチャを共同設計し、幾何学潜在変数はカラーVAEと緊密に結合した専用幾何学分枝により抽出され、テクスチャとの強力な対応関係を維持する細粒度の表面ガイダンスを提供する。これらの設計により、NaTexは優れた性能を示し、テクスチャのコヒーレンスと位置合わせにおいて従来手法を大幅に上回る。さらにNaTexは、材料生成、テクスチャリファインメント、パーツセグメンテーションおよびテクスチャリングなどの様々な下流アプリケーションにおいて、訓練不要あるいは簡易なチューニングのみで強力な汎化能力も発揮する。

English

We present NaTex, a native texture generation framework that predicts texture color directly in 3D space. In contrast to previous approaches that rely on baking 2D multi-view images synthesized by geometry-conditioned Multi-View Diffusion models (MVDs), NaTex avoids several inherent limitations of the MVD pipeline. These include difficulties in handling occluded regions that require inpainting, achieving precise mesh-texture alignment along boundaries, and maintaining cross-view consistency and coherence in both content and color intensity. NaTex features a novel paradigm that addresses the aforementioned issues by viewing texture as a dense color point cloud. Driven by this idea, we propose latent color diffusion, which comprises a geometry-awared color point cloud VAE and a multi-control diffusion transformer (DiT), entirely trained from scratch using 3D data, for texture reconstruction and generation. To enable precise alignment, we introduce native geometry control that conditions the DiT on direct 3D spatial information via positional embeddings and geometry latents. We co-design the VAE-DiT architecture, where the geometry latents are extracted via a dedicated geometry branch tightly coupled with the color VAE, providing fine-grained surface guidance that maintains strong correspondence with the texture. With these designs, NaTex demonstrates strong performance, significantly outperforming previous methods in texture coherence and alignment. Moreover, NaTex also exhibits strong generalization capabilities, either training-free or with simple tuning, for various downstream applications, e.g., material generation, texture refinement, and part segmentation and texturing.

NaTex：潜在色拡散としてのシームレスなテクスチャ生成

NaTex: Seamless Texture Generation as Latent Color Diffusion

要旨

Support