NaTex : Génération de textures transparente par diffusion de couleurs latentes

papers.abstract

Nous présentons NaTex, un cadre natif de génération de textures qui prédit directement la couleur des textures dans l'espace 3D. Contrairement aux approches antérieures qui s'appuient sur la cuisson d'images multi-vues 2D synthétisées par des modèles de diffusion conditionnés par la géométrie (MVD), NaTex évite plusieurs limitations inhérentes au pipeline MVD. Celles-ci incluent les difficultés à traiter les régions occluses nécessitant une inpainting, à obtenir un alignement précis maillage-texture le long des contours, et à maintenir une cohérence inter-vues tant au niveau du contenu que de l'intensité colorimétrique. NaTex introduit un nouveau paradigme qui résout les problèmes précités en considérant la texture comme un nuage de points coloré dense. Portés par cette idée, nous proposons la diffusion latente de couleur, qui comprend un VAE de nuage de points coloré sensible à la géométrie et un transformeur de diffusion à contrôles multiples (DiT), entièrement entraînés à partir de zéro sur des données 3D, pour la reconstruction et la génération de textures. Pour permettre un alignement précis, nous introduisons un contrôle géométrique natif qui conditionne le DiT sur des informations spatiales 3D directes via des plongements positionnels et des latents géométriques. Nous co-concevons l'architecture VAE-DiT, où les latents géométriques sont extraits via une branche géométrique dédiée étroitement couplée au VAE de couleur, fournissant un guidage de surface fin qui maintient une forte correspondance avec la texture. Grâce à ces conceptions, NaTex démontre de solides performances, surpassant significativement les méthodes précédentes en termes de cohérence texturale et d'alignement. De plus, NaTex présente également de fortes capacités de généralisation, sans entraînement supplémentaire ou avec un réglage simple, pour diverses applications en aval, par exemple la génération de matériaux, le raffinement de textures, et la segmentation et texturation de parties.

English

We present NaTex, a native texture generation framework that predicts texture color directly in 3D space. In contrast to previous approaches that rely on baking 2D multi-view images synthesized by geometry-conditioned Multi-View Diffusion models (MVDs), NaTex avoids several inherent limitations of the MVD pipeline. These include difficulties in handling occluded regions that require inpainting, achieving precise mesh-texture alignment along boundaries, and maintaining cross-view consistency and coherence in both content and color intensity. NaTex features a novel paradigm that addresses the aforementioned issues by viewing texture as a dense color point cloud. Driven by this idea, we propose latent color diffusion, which comprises a geometry-awared color point cloud VAE and a multi-control diffusion transformer (DiT), entirely trained from scratch using 3D data, for texture reconstruction and generation. To enable precise alignment, we introduce native geometry control that conditions the DiT on direct 3D spatial information via positional embeddings and geometry latents. We co-design the VAE-DiT architecture, where the geometry latents are extracted via a dedicated geometry branch tightly coupled with the color VAE, providing fine-grained surface guidance that maintains strong correspondence with the texture. With these designs, NaTex demonstrates strong performance, significantly outperforming previous methods in texture coherence and alignment. Moreover, NaTex also exhibits strong generalization capabilities, either training-free or with simple tuning, for various downstream applications, e.g., material generation, texture refinement, and part segmentation and texturing.

NaTex : Génération de textures transparente par diffusion de couleurs latentes

NaTex: Seamless Texture Generation as Latent Color Diffusion

papers.abstract

Support