RoCoTex: Een Robuuste Methode voor Consistente Textuursynthese met Diffusiemodellen

RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models

September 30, 2024

Auteurs: Jangyeong Kim, Donggoo Kang, Junyoung Choi, Jeonga Wi, Junho Gwon, Jiun Bae, Dumim Yoon, Junghyun Han

cs.AI

Samenvatting

Textuur-generatie uit tekst heeft recentelijk steeds meer aandacht getrokken, maar bestaande methoden kampen vaak met problemen zoals inconsistenties in weergave, zichtbare naden en misalignement tussen texturen en het onderliggende mesh. In dit artikel stellen we een robuuste textuur-generatiemethode voor om consistente en naadloze texturen te genereren die goed uitgelijnd zijn met het mesh. Onze methode maakt gebruik van state-of-the-art 2D diffusiemodellen, waaronder SDXL en meerdere ControlNets, om structurele kenmerken en complexe details in de gegenereerde texturen vast te leggen. De methode maakt ook gebruik van een symmetrische weergavesynthesestrategie in combinatie met regionale aanwijzingen om de weergaveconsistentie te verbeteren. Daarnaast introduceert het nieuwe technieken voor textuurvervaging en zachte inpainting, die de naden aanzienlijk verminderen. Uitgebreide experimenten tonen aan dat onze methode beter presteert dan bestaande state-of-the-art methoden.

English

Text-to-texture generation has recently attracted increasing attention, but existing methods often suffer from the problems of view inconsistencies, apparent seams, and misalignment between textures and the underlying mesh. In this paper, we propose a robust text-to-texture method for generating consistent and seamless textures that are well aligned with the mesh. Our method leverages state-of-the-art 2D diffusion models, including SDXL and multiple ControlNets, to capture structural features and intricate details in the generated textures. The method also employs a symmetrical view synthesis strategy combined with regional prompts for enhancing view consistency. Additionally, it introduces novel texture blending and soft-inpainting techniques, which significantly reduce the seam regions. Extensive experiments demonstrate that our method outperforms existing state-of-the-art methods.