RoCoTex : Une méthode robuste pour la synthèse cohérente de textures avec des modèles de diffusion

RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models

September 30, 2024

Auteurs: Jangyeong Kim, Donggoo Kang, Junyoung Choi, Jeonga Wi, Junho Gwon, Jiun Bae, Dumim Yoon, Junghyun Han

cs.AI

Résumé

La génération de texture à partir de texte a récemment suscité un intérêt croissant, mais les méthodes existantes souffrent souvent de problèmes d'incohérences de vue, de coutures apparentes et de désalignement entre les textures et le maillage sous-jacent. Dans cet article, nous proposons une méthode robuste de génération de texture à partir de texte pour produire des textures cohérentes et sans couture, bien alignées avec le maillage. Notre méthode exploite des modèles de diffusion 2D de pointe, notamment SDXL et plusieurs ControlNets, pour capturer les caractéristiques structurelles et les détails complexes des textures générées. La méthode utilise également une stratégie de synthèse de vue symétrique combinée à des incitations régionales pour améliorer la cohérence des vues. De plus, elle introduit des techniques novatrices de fusion de textures et d'inpainting doux, qui réduisent significativement les régions de couture. Des expériences approfondies démontrent que notre méthode surpasse les méthodes existantes de pointe.

English

Text-to-texture generation has recently attracted increasing attention, but existing methods often suffer from the problems of view inconsistencies, apparent seams, and misalignment between textures and the underlying mesh. In this paper, we propose a robust text-to-texture method for generating consistent and seamless textures that are well aligned with the mesh. Our method leverages state-of-the-art 2D diffusion models, including SDXL and multiple ControlNets, to capture structural features and intricate details in the generated textures. The method also employs a symmetrical view synthesis strategy combined with regional prompts for enhancing view consistency. Additionally, it introduces novel texture blending and soft-inpainting techniques, which significantly reduce the seam regions. Extensive experiments demonstrate that our method outperforms existing state-of-the-art methods.