FlexiTex: Mejorando la Generación de Texturas con Orientación Visual

FlexiTex: Enhancing Texture Generation with Visual Guidance

September 19, 2024

Autores: DaDong Jiang, Xianghui Yang, Zibo Zhao, Sheng Zhang, Jiaao Yu, Zeqiang Lai, Shaoxiong Yang, Chunchao Guo, Xiaobo Zhou, Zhihui Ke

cs.AI

Resumen

Los métodos recientes de generación de texturas logran resultados impresionantes debido al potente prior generativo que aprovechan de los modelos de difusión texto-imagen a gran escala. Sin embargo, las indicaciones textuales abstractas tienen limitaciones en proporcionar información global sobre texturas o formas, lo que resulta en que los métodos de generación de texturas produzcan patrones borrosos o inconsistentes. Para abordar esto, presentamos FlexiTex, que incorpora información detallada a través de orientación visual para generar una textura de alta calidad. El núcleo de FlexiTex es el módulo de Mejora de la Orientación Visual, que incorpora información más específica de la orientación visual para reducir la ambigüedad en la indicación textual y preservar detalles de alta frecuencia. Para mejorar aún más la orientación visual, introducimos un módulo de Adaptación con Conciencia de Dirección que diseña automáticamente indicaciones de dirección basadas en diferentes posiciones de cámara, evitando el problema de Janus y manteniendo la coherencia semántica global. Beneficiándose de la orientación visual, FlexiTex produce resultados sólidos cuantitativa y cualitativamente, demostrando su potencial para avanzar en la generación de texturas para aplicaciones del mundo real.

English

Recent texture generation methods achieve impressive results due to the powerful generative prior they leverage from large-scale text-to-image diffusion models. However, abstract textual prompts are limited in providing global textural or shape information, which results in the texture generation methods producing blurry or inconsistent patterns. To tackle this, we present FlexiTex, embedding rich information via visual guidance to generate a high-quality texture. The core of FlexiTex is the Visual Guidance Enhancement module, which incorporates more specific information from visual guidance to reduce ambiguity in the text prompt and preserve high-frequency details. To further enhance the visual guidance, we introduce a Direction-Aware Adaptation module that automatically designs direction prompts based on different camera poses, avoiding the Janus problem and maintaining semantically global consistency. Benefiting from the visual guidance, FlexiTex produces quantitatively and qualitatively sound results, demonstrating its potential to advance texture generation for real-world applications.