RoCoTex: Un Método Robusto para la Síntesis Coherente de Texturas con Modelos de Difusión

RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models

September 30, 2024

Autores: Jangyeong Kim, Donggoo Kang, Junyoung Choi, Jeonga Wi, Junho Gwon, Jiun Bae, Dumim Yoon, Junghyun Han

cs.AI

Resumen

La generación de texturas a partir de texto ha atraído recientemente una atención creciente, pero los métodos existentes a menudo sufren de problemas de inconsistencias de vista, costuras aparentes y desalineación entre las texturas y la malla subyacente. En este artículo, proponemos un método robusto de texto a textura para generar texturas consistentes y sin costuras que estén bien alineadas con la malla. Nuestro método aprovecha modelos de difusión 2D de última generación, incluidos SDXL y múltiples ControlNets, para capturar características estructurales y detalles intrincados en las texturas generadas. El método también emplea una estrategia de síntesis de vista simétrica combinada con indicaciones regionales para mejorar la consistencia de la vista. Además, introduce técnicas novedosas de mezcla de texturas y de rellenado suave, que reducen significativamente las regiones de costura. Experimentos extensos demuestran que nuestro método supera a los métodos existentes de última generación.

English

Text-to-texture generation has recently attracted increasing attention, but existing methods often suffer from the problems of view inconsistencies, apparent seams, and misalignment between textures and the underlying mesh. In this paper, we propose a robust text-to-texture method for generating consistent and seamless textures that are well aligned with the mesh. Our method leverages state-of-the-art 2D diffusion models, including SDXL and multiple ControlNets, to capture structural features and intricate details in the generated textures. The method also employs a symmetrical view synthesis strategy combined with regional prompts for enhancing view consistency. Additionally, it introduces novel texture blending and soft-inpainting techniques, which significantly reduce the seam regions. Extensive experiments demonstrate that our method outperforms existing state-of-the-art methods.