RoCoTex: Un Metodo Robusto per la Sintesi Coerente delle Texture con Modelli di Diffusione

RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models

September 30, 2024

Autori: Jangyeong Kim, Donggoo Kang, Junyoung Choi, Jeonga Wi, Junho Gwon, Jiun Bae, Dumim Yoon, Junghyun Han

cs.AI

Abstract

La generazione di texture da testo ha recentemente attirato crescente attenzione, ma i metodi esistenti spesso soffrono di problemi di incongruenze di visualizzazione, cuciture apparenti e disallineamento tra le texture e la mesh sottostante. In questo articolo, proponiamo un metodo robusto di generazione di texture da testo per creare texture coerenti e senza soluzione di continuità che siano ben allineate con la mesh. Il nostro metodo sfrutta modelli di diffusione 2D all'avanguardia, tra cui SDXL e più ControlNets, per catturare le caratteristiche strutturali e i dettagli intricati nelle texture generate. Il metodo impiega inoltre una strategia di sintesi della vista simmetrica combinata con prompt regionali per migliorare la coerenza della visualizzazione. Inoltre, introduce nuove tecniche di fusione delle texture e soft-inpainting, che riducono significativamente le regioni di cucitura. Estesi esperimenti dimostrano che il nostro metodo supera i metodi all'avanguardia esistenti.

English

Text-to-texture generation has recently attracted increasing attention, but existing methods often suffer from the problems of view inconsistencies, apparent seams, and misalignment between textures and the underlying mesh. In this paper, we propose a robust text-to-texture method for generating consistent and seamless textures that are well aligned with the mesh. Our method leverages state-of-the-art 2D diffusion models, including SDXL and multiple ControlNets, to capture structural features and intricate details in the generated textures. The method also employs a symmetrical view synthesis strategy combined with regional prompts for enhancing view consistency. Additionally, it introduces novel texture blending and soft-inpainting techniques, which significantly reduce the seam regions. Extensive experiments demonstrate that our method outperforms existing state-of-the-art methods.