OláMeme: Integrando Atenções de Tricô Espacial para Incorporar Condições de Alto Nível e Rica Fidelidade em Modelos de Difusão

HelloMeme: Integrating Spatial Knitting Attentions to Embed High-Level and Fidelity-Rich Conditions in Diffusion Models

October 30, 2024

Autores: Shengkai Zhang, Nianhong Jiao, Tian Li, Chaojie Yang, Chenhui Xue, Boya Niu, Jun Gao

cs.AI

Resumo

Propomos um método eficaz para inserir adaptadores em modelos de base texto-imagem, o que possibilita a execução de tarefas complexas subsequentes, preservando a capacidade de generalização do modelo base. A ideia central deste método é otimizar o mecanismo de atenção relacionado a mapas de características 2D, o que melhora o desempenho do adaptador. Esta abordagem foi validada na tarefa de geração de vídeos de memes e obteve resultados significativos. Esperamos que este trabalho possa fornecer insights para tarefas pós-treinamento de grandes modelos texto-imagem. Além disso, como este método demonstra boa compatibilidade com modelos derivados do SD1.5, ele possui certo valor para a comunidade de código aberto. Portanto, iremos disponibilizar o código relacionado (https://songkey.github.io/hellomeme).

English

We propose an effective method for inserting adapters into text-to-image foundation models, which enables the execution of complex downstream tasks while preserving the generalization ability of the base model. The core idea of this method is to optimize the attention mechanism related to 2D feature maps, which enhances the performance of the adapter. This approach was validated on the task of meme video generation and achieved significant results. We hope this work can provide insights for post-training tasks of large text-to-image models. Additionally, as this method demonstrates good compatibility with SD1.5 derivative models, it holds certain value for the open-source community. Therefore, we will release the related code (https://songkey.github.io/hellomeme).