RoCoTex: Надежный метод для последовательного синтеза текстур с моделями диффузии

RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models

September 30, 2024

Авторы: Jangyeong Kim, Donggoo Kang, Junyoung Choi, Jeonga Wi, Junho Gwon, Jiun Bae, Dumim Yoon, Junghyun Han

cs.AI

Аннотация

Генерация текстуры по тексту недавно привлекла все больше внимания, однако существующие методы часто страдают от проблем несоответствия видов, видимых швов и неправильного выравнивания между текстурами и базовой сеткой. В данной статье мы предлагаем надежный метод генерации текстуры по тексту для создания последовательных и плавных текстур, которые хорошо соотносятся с сеткой. Наш метод использует передовые 2D модели диффузии, включая SDXL и несколько ControlNets, для захвата структурных особенностей и тонких деталей в созданных текстурах. Метод также применяет симметричную стратегию синтеза вида в сочетании с региональными подсказками для улучшения согласованности вида. Кроме того, он вводит новые техники смешивания текстур и мягкого заполнения, которые значительно уменьшают области швов. Обширные эксперименты показывают, что наш метод превосходит существующие передовые методы.

English

Text-to-texture generation has recently attracted increasing attention, but existing methods often suffer from the problems of view inconsistencies, apparent seams, and misalignment between textures and the underlying mesh. In this paper, we propose a robust text-to-texture method for generating consistent and seamless textures that are well aligned with the mesh. Our method leverages state-of-the-art 2D diffusion models, including SDXL and multiple ControlNets, to capture structural features and intricate details in the generated textures. The method also employs a symmetrical view synthesis strategy combined with regional prompts for enhancing view consistency. Additionally, it introduces novel texture blending and soft-inpainting techniques, which significantly reduce the seam regions. Extensive experiments demonstrate that our method outperforms existing state-of-the-art methods.