RoCoTex: Um Método Robusto para Síntese de Texturas Consistente com Modelos de Difusão

RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models

September 30, 2024

Autores: Jangyeong Kim, Donggoo Kang, Junyoung Choi, Jeonga Wi, Junho Gwon, Jiun Bae, Dumim Yoon, Junghyun Han

cs.AI

Resumo

A geração de texturas a partir de texto tem atraído cada vez mais atenção recentemente, porém, os métodos existentes frequentemente sofrem com problemas de inconsistências de visualização, costuras aparentes e desalinhamento entre as texturas e a malha subjacente. Neste artigo, propomos um método robusto de texto para textura para gerar texturas consistentes e contínuas que estejam bem alinhadas com a malha. Nosso método aproveita modelos de difusão 2D de ponta, incluindo SDXL e múltiplos ControlNets, para capturar características estruturais e detalhes intrincados nas texturas geradas. O método também emprega uma estratégia de síntese de visualização simétrica combinada com prompts regionais para aprimorar a consistência visual. Além disso, introduz técnicas inovadoras de mistura de textura e soft-inpainting, que reduzem significativamente as regiões de costura. Experimentos extensivos demonstram que nosso método supera os métodos de ponta existentes.

English

Text-to-texture generation has recently attracted increasing attention, but existing methods often suffer from the problems of view inconsistencies, apparent seams, and misalignment between textures and the underlying mesh. In this paper, we propose a robust text-to-texture method for generating consistent and seamless textures that are well aligned with the mesh. Our method leverages state-of-the-art 2D diffusion models, including SDXL and multiple ControlNets, to capture structural features and intricate details in the generated textures. The method also employs a symmetrical view synthesis strategy combined with regional prompts for enhancing view consistency. Additionally, it introduces novel texture blending and soft-inpainting techniques, which significantly reduce the seam regions. Extensive experiments demonstrate that our method outperforms existing state-of-the-art methods.