FlexiTex: Улучшение генерации текстур с визуальным руководством

FlexiTex: Enhancing Texture Generation with Visual Guidance

September 19, 2024

Авторы: DaDong Jiang, Xianghui Yang, Zibo Zhao, Sheng Zhang, Jiaao Yu, Zeqiang Lai, Shaoxiong Yang, Chunchao Guo, Xiaobo Zhou, Zhihui Ke

cs.AI

Аннотация

Недавние методы генерации текстур достигают впечатляющих результатов благодаря мощным генеративным априорным знаниям, которые они используют из масштабных моделей диффузии текст-изображение. Однако абстрактные текстовые подсказки ограничены в предоставлении глобальной текстурной или формовой информации, что приводит к появлению размытых или несогласованных узоров при генерации текстуры. Для решения этой проблемы мы представляем FlexiTex, встраивая богатую информацию с помощью визуального руководства для создания текстуры высокого качества. Основу FlexiTex составляет модуль улучшения визуального руководства, который интегрирует более конкретную информацию из визуального руководства для уменьшения неоднозначности в текстовой подсказке и сохранения высокочастотных деталей. Для дальнейшего улучшения визуального руководства мы представляем модуль адаптации с учетом направления, который автоматически разрабатывает направленные подсказки на основе различных ракурсов камеры, избегая проблемы Януса и сохраняя семантическую глобальную согласованность. Благодаря визуальному руководству FlexiTex производит количественно и качественно достоверные результаты, демонстрируя свой потенциал для продвижения генерации текстур для прикладных задач в реальном мире.

English

Recent texture generation methods achieve impressive results due to the powerful generative prior they leverage from large-scale text-to-image diffusion models. However, abstract textual prompts are limited in providing global textural or shape information, which results in the texture generation methods producing blurry or inconsistent patterns. To tackle this, we present FlexiTex, embedding rich information via visual guidance to generate a high-quality texture. The core of FlexiTex is the Visual Guidance Enhancement module, which incorporates more specific information from visual guidance to reduce ambiguity in the text prompt and preserve high-frequency details. To further enhance the visual guidance, we introduce a Direction-Aware Adaptation module that automatically designs direction prompts based on different camera poses, avoiding the Janus problem and maintaining semantically global consistency. Benefiting from the visual guidance, FlexiTex produces quantitatively and qualitatively sound results, demonstrating its potential to advance texture generation for real-world applications.