IP-Adapter: Adattatore di Prompt Immagine Compatibile con il Testo per Modelli di Diffusione da Testo a Immagine

IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

August 13, 2023

Autori: Hu Ye, Jun Zhang, Sibo Liu, Xiao Han, Wei Yang

cs.AI

Abstract

Negli ultimi anni, i modelli di diffusione testo-immagine di grandi dimensioni hanno dimostrato una straordinaria capacità generativa, producendo immagini ad alta fedeltà. Tuttavia, generare immagini desiderate utilizzando solo prompt testuali è spesso complesso e richiede un'ingegneria dei prompt sofisticata. Un'alternativa al prompt testuale è il prompt visivo, come si suol dire: "un'immagine vale più di mille parole". Sebbene i metodi esistenti di fine-tuning diretto da modelli pre-addestrati siano efficaci, richiedono risorse computazionali significative e non sono compatibili con altri modelli di base, prompt testuali e controlli strutturali. In questo articolo, presentiamo IP-Adapter, un adattatore efficace e leggero per abilitare la capacità di prompt visivo nei modelli di diffusione testo-immagine pre-addestrati. Il design chiave del nostro IP-Adapter è un meccanismo di cross-attention disaccoppiato che separa i livelli di cross-attention per le caratteristiche testuali e quelle visive. Nonostante la semplicità del nostro metodo, un IP-Adapter con soli 22M di parametri può raggiungere prestazioni comparabili o addirittura superiori a un modello di prompt visivo completamente fine-tuned. Poiché congeliamo il modello di diffusione pre-addestrato, il nostro IP-Adapter può essere generalizzato non solo ad altri modelli personalizzati fine-tuned dallo stesso modello di base, ma anche alla generazione controllata utilizzando strumenti esistenti. Grazie alla strategia di cross-attention disaccoppiata, il prompt visivo può funzionare efficacemente insieme al prompt testuale per ottenere una generazione di immagini multimodale. La pagina del progetto è disponibile all'indirizzo https://ip-adapter.github.io.

English

Recent years have witnessed the strong power of large text-to-image diffusion models for the impressive generative capability to create high-fidelity images. However, it is very tricky to generate desired images using only text prompt as it often involves complex prompt engineering. An alternative to text prompt is image prompt, as the saying goes: "an image is worth a thousand words". Although existing methods of direct fine-tuning from pretrained models are effective, they require large computing resources and are not compatible with other base models, text prompt, and structural controls. In this paper, we present IP-Adapter, an effective and lightweight adapter to achieve image prompt capability for the pretrained text-to-image diffusion models. The key design of our IP-Adapter is decoupled cross-attention mechanism that separates cross-attention layers for text features and image features. Despite the simplicity of our method, an IP-Adapter with only 22M parameters can achieve comparable or even better performance to a fully fine-tuned image prompt model. As we freeze the pretrained diffusion model, the proposed IP-Adapter can be generalized not only to other custom models fine-tuned from the same base model, but also to controllable generation using existing controllable tools. With the benefit of the decoupled cross-attention strategy, the image prompt can also work well with the text prompt to achieve multimodal image generation. The project page is available at https://ip-adapter.github.io.