FlexiTex: Melhorando a Geração de Texturas com Orientação Visual

FlexiTex: Enhancing Texture Generation with Visual Guidance

September 19, 2024

Autores: DaDong Jiang, Xianghui Yang, Zibo Zhao, Sheng Zhang, Jiaao Yu, Zeqiang Lai, Shaoxiong Yang, Chunchao Guo, Xiaobo Zhou, Zhihui Ke

cs.AI

Resumo

Os métodos recentes de geração de texturas alcançam resultados impressionantes devido ao poderoso conhecimento gerativo que aproveitam dos modelos de difusão texto-imagem em larga escala. No entanto, as sugestões textuais abstratas são limitadas em fornecer informações globais sobre textura ou forma, o que resulta nos métodos de geração de textura produzindo padrões borrados ou inconsistentes. Para lidar com isso, apresentamos o FlexiTex, que incorpora informações ricas por meio de orientação visual para gerar uma textura de alta qualidade. O cerne do FlexiTex é o módulo de Aprimoramento da Orientação Visual, que incorpora informações mais específicas da orientação visual para reduzir a ambiguidade na sugestão de texto e preservar detalhes de alta frequência. Para aprimorar ainda mais a orientação visual, introduzimos um módulo de Adaptação Consciente da Direção que projeta automaticamente sugestões de direção com base em diferentes poses de câmera, evitando o problema de Janus e mantendo a consistência global semanticamente. Beneficiando-se da orientação visual, o FlexiTex produz resultados quantitativa e qualitativamente sólidos, demonstrando seu potencial para avançar na geração de texturas para aplicações do mundo real.

English

Recent texture generation methods achieve impressive results due to the powerful generative prior they leverage from large-scale text-to-image diffusion models. However, abstract textual prompts are limited in providing global textural or shape information, which results in the texture generation methods producing blurry or inconsistent patterns. To tackle this, we present FlexiTex, embedding rich information via visual guidance to generate a high-quality texture. The core of FlexiTex is the Visual Guidance Enhancement module, which incorporates more specific information from visual guidance to reduce ambiguity in the text prompt and preserve high-frequency details. To further enhance the visual guidance, we introduce a Direction-Aware Adaptation module that automatically designs direction prompts based on different camera poses, avoiding the Janus problem and maintaining semantically global consistency. Benefiting from the visual guidance, FlexiTex produces quantitatively and qualitatively sound results, demonstrating its potential to advance texture generation for real-world applications.