FlexiTex: ビジュアルガイダンスを活用したテクスチャ生成の向上

FlexiTex: Enhancing Texture Generation with Visual Guidance

September 19, 2024

著者: DaDong Jiang, Xianghui Yang, Zibo Zhao, Sheng Zhang, Jiaao Yu, Zeqiang Lai, Shaoxiong Yang, Chunchao Guo, Xiaobo Zhou, Zhihui Ke

cs.AI

要旨

最近のテクスチャ生成手法は、大規模なテキストから画像への拡散モデルから利用される強力な生成事前知識により、印象的な結果を達成しています。しかし、抽象的なテキストプロンプトは、グローバルなテクスチャや形状情報を提供することに限界があり、その結果、テクスチャ生成手法はぼやけたり一貫性のないパターンを生成することがあります。この課題に取り組むために、私たちはFlexiTexを提案し、視覚的なガイダンスを介して豊富な情報を埋め込み、高品質なテクスチャを生成します。FlexiTexの中核は、視覚的なガイダンス強化モジュールであり、テキストプロンプトの曖昧さを減らし、高周波数の詳細を保持するために視覚的なガイダンスからより具体的な情報を取り入れます。さらに視覚的なガイダンスを強化するために、異なるカメラのポーズに基づいて方向プロンプトを自動的に設計するDirection-Aware Adaptationモジュールを導入し、Janus問題を回避し、意味的にグローバルな一貫性を維持します。視覚的なガイダンスの恩恵を受けることで、FlexiTexは定量的かつ質的に優れた結果を生み出し、実世界のアプリケーションのためのテクスチャ生成の進展の可能性を示しています。

English

Recent texture generation methods achieve impressive results due to the powerful generative prior they leverage from large-scale text-to-image diffusion models. However, abstract textual prompts are limited in providing global textural or shape information, which results in the texture generation methods producing blurry or inconsistent patterns. To tackle this, we present FlexiTex, embedding rich information via visual guidance to generate a high-quality texture. The core of FlexiTex is the Visual Guidance Enhancement module, which incorporates more specific information from visual guidance to reduce ambiguity in the text prompt and preserve high-frequency details. To further enhance the visual guidance, we introduce a Direction-Aware Adaptation module that automatically designs direction prompts based on different camera poses, avoiding the Janus problem and maintaining semantically global consistency. Benefiting from the visual guidance, FlexiTex produces quantitatively and qualitatively sound results, demonstrating its potential to advance texture generation for real-world applications.