StyleAdapter : Un modèle sans LoRA en une seule passe pour la génération d'images stylisées

StyleAdapter: A Single-Pass LoRA-Free Model for Stylized Image Generation

September 4, 2023

Auteurs: Zhouxia Wang, Xintao Wang, Liangbin Xie, Zhongang Qi, Ying Shan, Wenping Wang, Ping Luo

cs.AI

Résumé

Cet article présente une méthode sans LoRA pour la génération d'images stylisées, qui prend en entrée une description textuelle et des images de référence de style, et produit une image de sortie en une seule passe. Contrairement aux méthodes existantes qui reposent sur l'entraînement d'un LoRA séparé pour chaque style, notre méthode peut s'adapter à divers styles avec un modèle unifié. Cependant, cela pose deux défis : 1) la description perd en contrôlabilité sur le contenu généré, et 2) l'image de sortie hérite à la fois des caractéristiques sémantiques et stylistiques de l'image de référence de style, compromettant ainsi sa fidélité au contenu. Pour relever ces défis, nous introduisons StyleAdapter, un modèle composé de deux éléments : un module d'attention croisée à deux voies (TPCA) et trois stratégies de découplage. Ces composants permettent à notre modèle de traiter séparément les caractéristiques de la description et de la référence de style, et de réduire le fort couplage entre les informations sémantiques et stylistiques dans les références de style. StyleAdapter peut générer des images de haute qualité qui correspondent au contenu des descriptions et adoptent le style des références (même pour des styles non vus) en une seule passe, ce qui est plus flexible et efficace que les méthodes précédentes. Des expériences ont été menées pour démontrer la supériorité de notre méthode par rapport aux travaux antérieurs.

English

This paper presents a LoRA-free method for stylized image generation that takes a text prompt and style reference images as inputs and produces an output image in a single pass. Unlike existing methods that rely on training a separate LoRA for each style, our method can adapt to various styles with a unified model. However, this poses two challenges: 1) the prompt loses controllability over the generated content, and 2) the output image inherits both the semantic and style features of the style reference image, compromising its content fidelity. To address these challenges, we introduce StyleAdapter, a model that comprises two components: a two-path cross-attention module (TPCA) and three decoupling strategies. These components enable our model to process the prompt and style reference features separately and reduce the strong coupling between the semantic and style information in the style references. StyleAdapter can generate high-quality images that match the content of the prompts and adopt the style of the references (even for unseen styles) in a single pass, which is more flexible and efficient than previous methods. Experiments have been conducted to demonstrate the superiority of our method over previous works.