StyleAdapter: Ein Single-Pass LoRA-freies Modell für die stilistische Bildgenerierung

StyleAdapter: A Single-Pass LoRA-Free Model for Stylized Image Generation

September 4, 2023

Autoren: Zhouxia Wang, Xintao Wang, Liangbin Xie, Zhongang Qi, Ying Shan, Wenping Wang, Ping Luo

cs.AI

Zusammenfassung

Dieses Papier stellt eine LoRA-freie Methode zur Erzeugung von stilisierten Bildern vor, die einen Textprompt und Stilreferenzbilder als Eingaben verwendet und in einem einzigen Durchlauf ein Ausgabebild erzeugt. Im Gegensatz zu bestehenden Methoden, die auf das Training eines separaten LoRA für jeden Stil angewiesen sind, kann unsere Methode sich mit einem einheitlichen Modell an verschiedene Stile anpassen. Dies stellt jedoch zwei Herausforderungen dar: 1) der Prompt verliert die Kontrolle über den generierten Inhalt, und 2) das Ausgabebild übernimmt sowohl die semantischen als auch die stilistischen Merkmale des Stilreferenzbildes, was die Inhaltsgenauigkeit beeinträchtigt. Um diese Herausforderungen zu bewältigen, führen wir StyleAdapter ein, ein Modell, das aus zwei Komponenten besteht: einem Zwei-Pfad-Kreuz-Attentionsmodul (TPCA) und drei Entkopplungsstrategien. Diese Komponenten ermöglichen es unserem Modell, den Prompt und die Stilreferenzmerkmale separat zu verarbeiten und die starke Kopplung zwischen den semantischen und stilistischen Informationen in den Stilreferenzen zu reduzieren. StyleAdapter kann in einem einzigen Durchlauf hochwertige Bilder erzeugen, die den Inhalt der Prompts widerspiegeln und den Stil der Referenzen übernehmen (auch für unbekannte Stile), was flexibler und effizienter ist als bisherige Methoden. Experimente wurden durchgeführt, um die Überlegenheit unserer Methode gegenüber früheren Arbeiten zu demonstrieren.

English

This paper presents a LoRA-free method for stylized image generation that takes a text prompt and style reference images as inputs and produces an output image in a single pass. Unlike existing methods that rely on training a separate LoRA for each style, our method can adapt to various styles with a unified model. However, this poses two challenges: 1) the prompt loses controllability over the generated content, and 2) the output image inherits both the semantic and style features of the style reference image, compromising its content fidelity. To address these challenges, we introduce StyleAdapter, a model that comprises two components: a two-path cross-attention module (TPCA) and three decoupling strategies. These components enable our model to process the prompt and style reference features separately and reduce the strong coupling between the semantic and style information in the style references. StyleAdapter can generate high-quality images that match the content of the prompts and adopt the style of the references (even for unseen styles) in a single pass, which is more flexible and efficient than previous methods. Experiments have been conducted to demonstrate the superiority of our method over previous works.