FlexiTex: Migliorare la Generazione di Texture con Guida Visiva

FlexiTex: Enhancing Texture Generation with Visual Guidance

September 19, 2024

Autori: DaDong Jiang, Xianghui Yang, Zibo Zhao, Sheng Zhang, Jiaao Yu, Zeqiang Lai, Shaoxiong Yang, Chunchao Guo, Xiaobo Zhou, Zhihui Ke

cs.AI

Abstract

I metodi recenti di generazione di texture raggiungono risultati impressionanti grazie al potente prior generativo che sfruttano dai modelli di diffusione testo-immagine su larga scala. Tuttavia, i prompt testuali astratti sono limitati nel fornire informazioni testuali o di forma globali, il che porta i metodi di generazione di texture a produrre pattern sfocati o inconsistenti. Per affrontare questo problema, presentiamo FlexiTex, che incorpora informazioni ricche tramite guida visiva per generare una texture di alta qualità. Il cuore di FlexiTex è il modulo di Potenziamento della Guida Visiva, che incorpora informazioni più specifiche dalla guida visiva per ridurre l'ambiguità nel prompt testuale e preservare i dettagli ad alta frequenza. Per potenziare ulteriormente la guida visiva, introduciamo un modulo di Adattamento Orientato alla Direzione che progetta automaticamente prompt direzionali basati su diverse posizioni della telecamera, evitando il problema di Janus e mantenendo la coerenza semantica globale. Beneficiando della guida visiva, FlexiTex produce risultati quantitativamente e qualitativamente validi, dimostrando il suo potenziale per far progredire la generazione di texture per applicazioni reali.

English

Recent texture generation methods achieve impressive results due to the powerful generative prior they leverage from large-scale text-to-image diffusion models. However, abstract textual prompts are limited in providing global textural or shape information, which results in the texture generation methods producing blurry or inconsistent patterns. To tackle this, we present FlexiTex, embedding rich information via visual guidance to generate a high-quality texture. The core of FlexiTex is the Visual Guidance Enhancement module, which incorporates more specific information from visual guidance to reduce ambiguity in the text prompt and preserve high-frequency details. To further enhance the visual guidance, we introduce a Direction-Aware Adaptation module that automatically designs direction prompts based on different camera poses, avoiding the Janus problem and maintaining semantically global consistency. Benefiting from the visual guidance, FlexiTex produces quantitatively and qualitatively sound results, demonstrating its potential to advance texture generation for real-world applications.