IP-Adapter: Adaptador de Prompts de Imagen Compatible con Texto para Modelos de Difusión de Texto a Imagen

IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

August 13, 2023

Autores: Hu Ye, Jun Zhang, Sibo Liu, Xiao Han, Wei Yang

cs.AI

Resumen

En los últimos años, hemos sido testigos del gran poder de los modelos de difusión de texto a imagen de gran escala, gracias a su impresionante capacidad generativa para crear imágenes de alta fidelidad. Sin embargo, generar imágenes deseadas utilizando únicamente un prompt de texto es muy complicado, ya que a menudo implica una ingeniería de prompts compleja. Una alternativa al prompt de texto es el prompt de imagen, como dice el dicho: "una imagen vale más que mil palabras". Aunque los métodos existentes de ajuste fino directo a partir de modelos preentrenados son efectivos, requieren grandes recursos computacionales y no son compatibles con otros modelos base, prompts de texto y controles estructurales. En este artículo, presentamos IP-Adapter, un adaptador eficiente y ligero para lograr la capacidad de prompt de imagen en modelos de difusión de texto a imagen preentrenados. El diseño clave de nuestro IP-Adapter es un mecanismo de atención cruzada desacoplado que separa las capas de atención cruzada para características de texto y características de imagen. A pesar de la simplicidad de nuestro método, un IP-Adapter con solo 22M de parámetros puede lograr un rendimiento comparable o incluso mejor que un modelo de prompt de imagen completamente ajustado. Dado que congelamos el modelo de difusión preentrenado, el IP-Adapter propuesto puede generalizarse no solo a otros modelos personalizados ajustados a partir del mismo modelo base, sino también a la generación controlable utilizando herramientas controlables existentes. Con el beneficio de la estrategia de atención cruzada desacoplada, el prompt de imagen también puede funcionar bien con el prompt de texto para lograr una generación de imágenes multimodal. La página del proyecto está disponible en https://ip-adapter.github.io.

English

Recent years have witnessed the strong power of large text-to-image diffusion models for the impressive generative capability to create high-fidelity images. However, it is very tricky to generate desired images using only text prompt as it often involves complex prompt engineering. An alternative to text prompt is image prompt, as the saying goes: "an image is worth a thousand words". Although existing methods of direct fine-tuning from pretrained models are effective, they require large computing resources and are not compatible with other base models, text prompt, and structural controls. In this paper, we present IP-Adapter, an effective and lightweight adapter to achieve image prompt capability for the pretrained text-to-image diffusion models. The key design of our IP-Adapter is decoupled cross-attention mechanism that separates cross-attention layers for text features and image features. Despite the simplicity of our method, an IP-Adapter with only 22M parameters can achieve comparable or even better performance to a fully fine-tuned image prompt model. As we freeze the pretrained diffusion model, the proposed IP-Adapter can be generalized not only to other custom models fine-tuned from the same base model, but also to controllable generation using existing controllable tools. With the benefit of the decoupled cross-attention strategy, the image prompt can also work well with the text prompt to achieve multimodal image generation. The project page is available at https://ip-adapter.github.io.