StyleAdapter: Een Single-Pass LoRA-Vrij Model voor Gestileerde Afbeeldingen Generatie

StyleAdapter: A Single-Pass LoRA-Free Model for Stylized Image Generation

September 4, 2023

Auteurs: Zhouxia Wang, Xintao Wang, Liangbin Xie, Zhongang Qi, Ying Shan, Wenping Wang, Ping Luo

cs.AI

Samenvatting

Dit artikel presenteert een LoRA-vrije methode voor gestileerde beeldgeneratie die een tekstprompt en stijlreferentiebeelden als invoer neemt en in één enkele stap een uitvoerbeeld produceert. In tegenstelling tot bestaande methoden die afhankelijk zijn van het trainen van een aparte LoRA voor elke stijl, kan onze methode zich aanpassen aan verschillende stijlen met een uniform model. Dit brengt echter twee uitdagingen met zich mee: 1) de prompt verliest controleerbaarheid over de gegenereerde inhoud, en 2) het uitvoerbeeld erft zowel de semantische als stijlkenmerken van het stijlreferentiebeeld, wat de inhoudelijke trouw aantast. Om deze uitdagingen aan te pakken, introduceren we StyleAdapter, een model dat bestaat uit twee componenten: een twee-paden cross-attention module (TPCA) en drie ontkoppelingsstrategieën. Deze componenten stellen ons model in staat om de prompt en stijlreferentiekenmerken afzonderlijk te verwerken en de sterke koppeling tussen de semantische en stijlinformatie in de stijlreferenties te verminderen. StyleAdapter kan hoogwaardige beelden genereren die overeenkomen met de inhoud van de prompts en de stijl van de referenties overnemen (zelfs voor onbekende stijlen) in één enkele stap, wat flexibeler en efficiënter is dan eerdere methoden. Er zijn experimenten uitgevoerd om de superioriteit van onze methode ten opzichte van eerdere werken aan te tonen.

English

This paper presents a LoRA-free method for stylized image generation that takes a text prompt and style reference images as inputs and produces an output image in a single pass. Unlike existing methods that rely on training a separate LoRA for each style, our method can adapt to various styles with a unified model. However, this poses two challenges: 1) the prompt loses controllability over the generated content, and 2) the output image inherits both the semantic and style features of the style reference image, compromising its content fidelity. To address these challenges, we introduce StyleAdapter, a model that comprises two components: a two-path cross-attention module (TPCA) and three decoupling strategies. These components enable our model to process the prompt and style reference features separately and reduce the strong coupling between the semantic and style information in the style references. StyleAdapter can generate high-quality images that match the content of the prompts and adopt the style of the references (even for unseen styles) in a single pass, which is more flexible and efficient than previous methods. Experiments have been conducted to demonstrate the superiority of our method over previous works.