IP-Adapter: Adaptador de Prompt de Imagem Compatível com Texto para Modelos de Difusão Texto-para-Imagem

IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

August 13, 2023

Autores: Hu Ye, Jun Zhang, Sibo Liu, Xiao Han, Wei Yang

cs.AI

Resumo

Nos últimos anos, testemunhamos o forte poder dos grandes modelos de difusão de texto para imagem devido à impressionante capacidade generativa de criar imagens de alta fidelidade. No entanto, é bastante desafiador gerar imagens desejadas usando apenas prompts de texto, pois frequentemente envolve uma engenharia de prompts complexa. Uma alternativa ao prompt de texto é o prompt de imagem, como diz o ditado: "uma imagem vale mais que mil palavras". Embora os métodos existentes de ajuste fino direto a partir de modelos pré-treinados sejam eficazes, eles exigem grandes recursos computacionais e não são compatíveis com outros modelos base, prompts de texto e controles estruturais. Neste artigo, apresentamos o IP-Adapter, um adaptador eficiente e leve para capacitar modelos de difusão de texto para imagem pré-treinados com a funcionalidade de prompt de imagem. O design principal do nosso IP-Adapter é um mecanismo de atenção cruzada desacoplado que separa camadas de atenção cruzada para características de texto e de imagem. Apesar da simplicidade do nosso método, um IP-Adapter com apenas 22M de parâmetros pode alcançar desempenho comparável ou até superior ao de um modelo de prompt de imagem totalmente ajustado. Como congelamos o modelo de difusão pré-treinado, o IP-Adapter proposto pode ser generalizado não apenas para outros modelos personalizados ajustados a partir do mesmo modelo base, mas também para geração controlada usando ferramentas controláveis existentes. Com o benefício da estratégia de atenção cruzada desacoplada, o prompt de imagem também pode funcionar bem com o prompt de texto para alcançar geração de imagem multimodal. A página do projeto está disponível em https://ip-adapter.github.io.

English

Recent years have witnessed the strong power of large text-to-image diffusion models for the impressive generative capability to create high-fidelity images. However, it is very tricky to generate desired images using only text prompt as it often involves complex prompt engineering. An alternative to text prompt is image prompt, as the saying goes: "an image is worth a thousand words". Although existing methods of direct fine-tuning from pretrained models are effective, they require large computing resources and are not compatible with other base models, text prompt, and structural controls. In this paper, we present IP-Adapter, an effective and lightweight adapter to achieve image prompt capability for the pretrained text-to-image diffusion models. The key design of our IP-Adapter is decoupled cross-attention mechanism that separates cross-attention layers for text features and image features. Despite the simplicity of our method, an IP-Adapter with only 22M parameters can achieve comparable or even better performance to a fully fine-tuned image prompt model. As we freeze the pretrained diffusion model, the proposed IP-Adapter can be generalized not only to other custom models fine-tuned from the same base model, but also to controllable generation using existing controllable tools. With the benefit of the decoupled cross-attention strategy, the image prompt can also work well with the text prompt to achieve multimodal image generation. The project page is available at https://ip-adapter.github.io.