HolaMeme: Integrando Atenciones de Tejido Espacial para Incrustar Condiciones de Alto Nivel y Alta Fidelidad en Modelos de Difusión

HelloMeme: Integrating Spatial Knitting Attentions to Embed High-Level and Fidelity-Rich Conditions in Diffusion Models

October 30, 2024

Autores: Shengkai Zhang, Nianhong Jiao, Tian Li, Chaojie Yang, Chenhui Xue, Boya Niu, Jun Gao

cs.AI

Resumen

Proponemos un método efectivo para insertar adaptadores en modelos base de texto a imagen, lo que permite la ejecución de tareas complejas en aguas abajo mientras se preserva la capacidad de generalización del modelo base. La idea central de este método es optimizar el mecanismo de atención relacionado con mapas de características 2D, lo que mejora el rendimiento del adaptador. Este enfoque se validó en la tarea de generación de videos de memes y logró resultados significativos. Esperamos que este trabajo pueda proporcionar ideas para tareas posteriores al entrenamiento de grandes modelos de texto a imagen. Además, dado que este método demuestra una buena compatibilidad con modelos derivados de SD1.5, tiene cierto valor para la comunidad de código abierto. Por lo tanto, publicaremos el código relacionado (https://songkey.github.io/hellomeme).

English

We propose an effective method for inserting adapters into text-to-image foundation models, which enables the execution of complex downstream tasks while preserving the generalization ability of the base model. The core idea of this method is to optimize the attention mechanism related to 2D feature maps, which enhances the performance of the adapter. This approach was validated on the task of meme video generation and achieved significant results. We hope this work can provide insights for post-training tasks of large text-to-image models. Additionally, as this method demonstrates good compatibility with SD1.5 derivative models, it holds certain value for the open-source community. Therefore, we will release the related code (https://songkey.github.io/hellomeme).