NaTex: Generazione di texture senza soluzione di continuità come diffusione latente del colore

NaTex: Seamless Texture Generation as Latent Color Diffusion

November 20, 2025

Autori: Zeqiang Lai, Yunfei Zhao, Zibo Zhao, Xin Yang, Xin Huang, Jingwei Huang, Xiangyu Yue, Chunchao Guo

cs.AI

Abstract

Presentiamo NaTex, un framework di generazione di texture nativa che predice il colore della texture direttamente nello spazio 3D. A differenza degli approcci precedenti che si basano sulla "cottura" (baking) di immagini 2D multi-vista sintetizzate da modelli di diffusione condizionati dalla geometria (MVDs), NaTex evita diverse limitazioni intrinseche della pipeline MVD. Queste includono le difficoltà nella gestione delle regioni occluse che richiedono inpaintin, nel raggiungimento di un allineamento preciso tra mesh e texture lungo i bordi, e nel mantenere una coerenza cross-vista sia nel contenuto che nell'intensità del colore. NaTex introduce un paradigma innovativo che affronta i problemi summenzionati considerando la texture come una nuvola di punti di colore densa. Guidati da questa idea, proponiamo la diffusione latente del colore, che comprende un VAE per nuvole di punti di colore consapevole della geometria e un diffusion transformer (DiT) a controllo multiplo, interamente addestrato da zero utilizzando dati 3D, per la ricostruzione e generazione di texture. Per abilitare un allineamento preciso, introduciamo un controllo nativo della geometria che condiziona il DiT su informazioni spaziali 3D dirette tramite positional embedding e latenti geometrici. Co-progettiamo l'architettura VAE-DiT, in cui i latenti geometrici vengono estratti attraverso un ramo dedicato alla geometria strettamente accoppiato con il VAE del colore, fornendo una guida fine della superficie che mantiene una forte corrispondenza con la texture. Con queste soluzioni, NaTex dimostra prestazioni elevate, superando significativamente i metodi precedenti in termini di coerenza e allineamento della texture. Inoltre, NaTex mostra anche forti capacità di generalizzazione, sia in modalità training-free che con una semplice messa a punto, per varie applicazioni downstream, come la generazione di materiali, il perfezionamento delle texture, e la segmentazione e texturing di parti.

English

We present NaTex, a native texture generation framework that predicts texture color directly in 3D space. In contrast to previous approaches that rely on baking 2D multi-view images synthesized by geometry-conditioned Multi-View Diffusion models (MVDs), NaTex avoids several inherent limitations of the MVD pipeline. These include difficulties in handling occluded regions that require inpainting, achieving precise mesh-texture alignment along boundaries, and maintaining cross-view consistency and coherence in both content and color intensity. NaTex features a novel paradigm that addresses the aforementioned issues by viewing texture as a dense color point cloud. Driven by this idea, we propose latent color diffusion, which comprises a geometry-awared color point cloud VAE and a multi-control diffusion transformer (DiT), entirely trained from scratch using 3D data, for texture reconstruction and generation. To enable precise alignment, we introduce native geometry control that conditions the DiT on direct 3D spatial information via positional embeddings and geometry latents. We co-design the VAE-DiT architecture, where the geometry latents are extracted via a dedicated geometry branch tightly coupled with the color VAE, providing fine-grained surface guidance that maintains strong correspondence with the texture. With these designs, NaTex demonstrates strong performance, significantly outperforming previous methods in texture coherence and alignment. Moreover, NaTex also exhibits strong generalization capabilities, either training-free or with simple tuning, for various downstream applications, e.g., material generation, texture refinement, and part segmentation and texturing.