FlexiTex: Het verbeteren van textuurgeneratie met visuele begeleiding

FlexiTex: Enhancing Texture Generation with Visual Guidance

September 19, 2024

Auteurs: DaDong Jiang, Xianghui Yang, Zibo Zhao, Sheng Zhang, Jiaao Yu, Zeqiang Lai, Shaoxiong Yang, Chunchao Guo, Xiaobo Zhou, Zhihui Ke

cs.AI

Samenvatting

Recente methoden voor textuurgeneratie behalen indrukwekkende resultaten dankzij de krachtige generatieve prior die ze benutten van grootschalige tekst-naar-afbeelding diffusiemodellen. Echter, abstracte tekstuele aanwijzingen zijn beperkt in het verschaffen van globale textuur- of vorminformatie, wat resulteert in textuurgeneratiemethoden die wazige of inconsistente patronen produceren. Om dit aan te pakken, presenteren we FlexiTex, waarbij rijke informatie wordt ingebed via visuele begeleiding om een hoogwaardige textuur te genereren. De kern van FlexiTex is de module voor Visuele Begeleidingsverbetering, die meer specifieke informatie van visuele begeleiding opneemt om ambiguïteit in de tekstuele aanwijzing te verminderen en hoogfrequente details te behouden. Om de visuele begeleiding verder te verbeteren, introduceren we een Module voor Richtingbewuste Aanpassing die automatisch richtingsaanwijzingen ontwerpt op basis van verschillende camerastanden, waarbij het Janus-probleem wordt vermeden en semantisch globale consistentie wordt behouden. Profiterend van de visuele begeleiding produceert FlexiTex kwantitatief en kwalitatief solide resultaten, waarbij het zijn potentieel aantoont om textuurgeneratie voor praktische toepassingen te bevorderen.

English

Recent texture generation methods achieve impressive results due to the powerful generative prior they leverage from large-scale text-to-image diffusion models. However, abstract textual prompts are limited in providing global textural or shape information, which results in the texture generation methods producing blurry or inconsistent patterns. To tackle this, we present FlexiTex, embedding rich information via visual guidance to generate a high-quality texture. The core of FlexiTex is the Visual Guidance Enhancement module, which incorporates more specific information from visual guidance to reduce ambiguity in the text prompt and preserve high-frequency details. To further enhance the visual guidance, we introduce a Direction-Aware Adaptation module that automatically designs direction prompts based on different camera poses, avoiding the Janus problem and maintaining semantically global consistency. Benefiting from the visual guidance, FlexiTex produces quantitatively and qualitatively sound results, demonstrating its potential to advance texture generation for real-world applications.