RoCoTex: Eine robuste Methode zur konsistenten Textursynthese mit Diffusionsmodellen

RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models

September 30, 2024

Autoren: Jangyeong Kim, Donggoo Kang, Junyoung Choi, Jeonga Wi, Junho Gwon, Jiun Bae, Dumim Yoon, Junghyun Han

cs.AI

Zusammenfassung

Die Generierung von Textur-aus-Text Methoden hat in letzter Zeit zunehmend an Aufmerksamkeit gewonnen, jedoch leiden bestehende Verfahren oft unter Problemen wie Ansichtsinkonsistenzen, offensichtlichen Nähten und Missabstimmungen zwischen Texturen und dem zugrunde liegenden Mesh. In diesem Artikel schlagen wir eine robuste Textur-aus-Text Methode vor, um konsistente und nahtlose Texturen zu generieren, die gut mit dem Mesh ausgerichtet sind. Unsere Methode nutzt modernste 2D-Diffusionsmodelle, einschließlich SDXL und mehrerer ControlNets, um strukturelle Merkmale und komplexe Details in den generierten Texturen zu erfassen. Die Methode verwendet auch eine symmetrische Ansichtssynthese-Strategie in Kombination mit regionalen Hinweisen zur Verbesserung der Ansichtskonsistenz. Darüber hinaus führt sie neuartige Textur-Blendungs- und Soft-Inpainting-Techniken ein, die die Nähtebereiche signifikant reduzieren. Umfangreiche Experimente zeigen, dass unsere Methode bestehende state-of-the-art Methoden übertrifft.

English

Text-to-texture generation has recently attracted increasing attention, but existing methods often suffer from the problems of view inconsistencies, apparent seams, and misalignment between textures and the underlying mesh. In this paper, we propose a robust text-to-texture method for generating consistent and seamless textures that are well aligned with the mesh. Our method leverages state-of-the-art 2D diffusion models, including SDXL and multiple ControlNets, to capture structural features and intricate details in the generated textures. The method also employs a symmetrical view synthesis strategy combined with regional prompts for enhancing view consistency. Additionally, it introduces novel texture blending and soft-inpainting techniques, which significantly reduce the seam regions. Extensive experiments demonstrate that our method outperforms existing state-of-the-art methods.