NaTex: Naadloze textuurgeneratie als latente kleurdiffusie

Samenvatting

Wij presenteren NaTex, een raamwerk voor native textuurgeneratie dat textuurkleur direct in 3D-ruimte voorspelt. In tegenstelling tot eerdere benaderingen die afhankelijk zijn van het 'bakken' van 2D multi-view beelden, gesynthetiseerd door geometrie-gestuurde Multi-View Diffusion modellen (MVD's), vermijdt NaTex verschillende inherente beperkingen van de MVD-pijplijn. Deze omvatten moeilijkheden bij het verwerken van geoccludeerde gebieden die inpaint vereisen, het bereiken van precieze mesh-textuur-uitlijning langs grenzen, en het handhaven van cross-view consistentie en coherentie in zowel inhoud als kleurintensiteit. NaTex introduceert een nieuw paradigma dat de bovengenoemde problemen aanpakt door textuur te beschouwen als een dichte kleurenpuntenwolk. Gedreven door dit idee stellen we latente kleurdiffusie voor, bestaande uit een geometrie-bewuste kleurenpuntenwolk VAE en een multi-control diffusion transformer (DiT), volledig vanaf nul getraind met 3D-data, voor textuurreconstructie en -generatie. Om precieze uitlijning mogelijk te maken, introduceren we *native geometry control* dat de DiT conditioneert op directe 3D-ruimtelijke informatie via positionele embeddings en geometrie-latenten. We co-ontwerpen de VAE-DiT-architectuur, waarbij de geometrie-latenten worden geëxtraheerd via een speciale geometrie-tak die nauw gekoppeld is aan de kleur-VAE, wat fijnmazige oppervlaktegeleiding biedt die een sterke correspondentie met de textuur behoudt. Met deze ontwerpen toont NaTex sterke prestaties en overtreft het eerdere methoden aanzienlijk in textuurcoherentie en -uitlijning. Bovendien vertoont NaTex ook sterke generalisatiecapaciteiten, ofwel training-vrij of met eenvoudige *fine-tuning*, voor diverse downstream-toepassingen, zoals materiaalgeneratie, textuurverfijning, en partssegmentatie en -texturering.

English

We present NaTex, a native texture generation framework that predicts texture color directly in 3D space. In contrast to previous approaches that rely on baking 2D multi-view images synthesized by geometry-conditioned Multi-View Diffusion models (MVDs), NaTex avoids several inherent limitations of the MVD pipeline. These include difficulties in handling occluded regions that require inpainting, achieving precise mesh-texture alignment along boundaries, and maintaining cross-view consistency and coherence in both content and color intensity. NaTex features a novel paradigm that addresses the aforementioned issues by viewing texture as a dense color point cloud. Driven by this idea, we propose latent color diffusion, which comprises a geometry-awared color point cloud VAE and a multi-control diffusion transformer (DiT), entirely trained from scratch using 3D data, for texture reconstruction and generation. To enable precise alignment, we introduce native geometry control that conditions the DiT on direct 3D spatial information via positional embeddings and geometry latents. We co-design the VAE-DiT architecture, where the geometry latents are extracted via a dedicated geometry branch tightly coupled with the color VAE, providing fine-grained surface guidance that maintains strong correspondence with the texture. With these designs, NaTex demonstrates strong performance, significantly outperforming previous methods in texture coherence and alignment. Moreover, NaTex also exhibits strong generalization capabilities, either training-free or with simple tuning, for various downstream applications, e.g., material generation, texture refinement, and part segmentation and texturing.

NaTex: Naadloze textuurgeneratie als latente kleurdiffusie

NaTex: Seamless Texture Generation as Latent Color Diffusion

Samenvatting

Support