StyleAdapter: Um Modelo de Passagem Única Sem LoRA para Geração de Imagens Estilizadas

StyleAdapter: A Single-Pass LoRA-Free Model for Stylized Image Generation

September 4, 2023

Autores: Zhouxia Wang, Xintao Wang, Liangbin Xie, Zhongang Qi, Ying Shan, Wenping Wang, Ping Luo

cs.AI

Resumo

Este artigo apresenta um método livre de LoRA para geração de imagens estilizadas que utiliza um prompt de texto e imagens de referência de estilo como entradas e produz uma imagem de saída em uma única passagem. Diferente dos métodos existentes que dependem do treinamento de um LoRA separado para cada estilo, nosso método pode se adaptar a diversos estilos com um modelo unificado. No entanto, isso apresenta dois desafios: 1) o prompt perde a capacidade de controle sobre o conteúdo gerado, e 2) a imagem de saída herda tanto as características semânticas quanto as de estilo da imagem de referência, comprometendo sua fidelidade de conteúdo. Para abordar esses desafios, introduzimos o StyleAdapter, um modelo que compreende dois componentes: um módulo de atenção cruzada de dois caminhos (TPCA) e três estratégias de desacoplamento. Esses componentes permitem que nosso modelo processe o prompt e as características de referência de estilo separadamente e reduza o forte acoplamento entre as informações semânticas e de estilo nas referências de estilo. O StyleAdapter pode gerar imagens de alta qualidade que correspondem ao conteúdo dos prompts e adotam o estilo das referências (mesmo para estilos não vistos) em uma única passagem, o que é mais flexível e eficiente do que os métodos anteriores. Experimentos foram conduzidos para demonstrar a superioridade do nosso método em relação aos trabalhos anteriores.

English

This paper presents a LoRA-free method for stylized image generation that takes a text prompt and style reference images as inputs and produces an output image in a single pass. Unlike existing methods that rely on training a separate LoRA for each style, our method can adapt to various styles with a unified model. However, this poses two challenges: 1) the prompt loses controllability over the generated content, and 2) the output image inherits both the semantic and style features of the style reference image, compromising its content fidelity. To address these challenges, we introduce StyleAdapter, a model that comprises two components: a two-path cross-attention module (TPCA) and three decoupling strategies. These components enable our model to process the prompt and style reference features separately and reduce the strong coupling between the semantic and style information in the style references. StyleAdapter can generate high-quality images that match the content of the prompts and adopt the style of the references (even for unseen styles) in a single pass, which is more flexible and efficient than previous methods. Experiments have been conducted to demonstrate the superiority of our method over previous works.