IP-Adapter: Tekstcompatibele Afbeeldingspromptadapter voor Tekst-naar-Afbeelding Diffusiemodellen

IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

August 13, 2023

Auteurs: Hu Ye, Jun Zhang, Sibo Liu, Xiao Han, Wei Yang

cs.AI

Samenvatting

De afgelopen jaren hebben we de sterke kracht gezien van grote tekst-naar-beeld diffusiemodellen vanwege hun indrukwekkende generatieve vermogen om hoogwaardige afbeeldingen te creëren. Het is echter erg lastig om gewenste afbeeldingen te genereren met alleen een tekstprompt, omdat dit vaak complexe prompt engineering vereist. Een alternatief voor een tekstprompt is een beeldprompt, zoals het gezegde luidt: "een beeld zegt meer dan duizend woorden". Hoewel bestaande methoden van directe fine-tuning van vooraf getrainde modellen effectief zijn, vereisen ze grote rekenbronnen en zijn ze niet compatibel met andere basismodellen, tekstprompts en structurele controles. In dit artikel presenteren we IP-Adapter, een effectieve en lichtgewicht adapter om beeldpromptmogelijkheden te realiseren voor vooraf getrainde tekst-naar-beeld diffusiemodellen. De belangrijkste ontwerpkeuze van onze IP-Adapter is het ontkoppelde cross-attention mechanisme dat cross-attention lagen scheidt voor tekstkenmerken en beeldkenmerken. Ondanks de eenvoud van onze methode, kan een IP-Adapter met slechts 22M parameters een vergelijkbare of zelfs betere prestaties bereiken dan een volledig gefinetuned beeldpromptmodel. Omdat we het vooraf getrainde diffusiemodel bevriezen, kan de voorgestelde IP-Adapter niet alleen worden gegeneraliseerd naar andere aangepaste modellen die zijn gefinetuned van hetzelfde basismodel, maar ook naar controleerbare generatie met behulp van bestaande controleerbare tools. Met het voordeel van de ontkoppelde cross-attention strategie, kan de beeldprompt ook goed samenwerken met de tekstprompt om multimodale beeldgeneratie te bereiken. De projectpagina is beschikbaar op https://ip-adapter.github.io.

English

Recent years have witnessed the strong power of large text-to-image diffusion models for the impressive generative capability to create high-fidelity images. However, it is very tricky to generate desired images using only text prompt as it often involves complex prompt engineering. An alternative to text prompt is image prompt, as the saying goes: "an image is worth a thousand words". Although existing methods of direct fine-tuning from pretrained models are effective, they require large computing resources and are not compatible with other base models, text prompt, and structural controls. In this paper, we present IP-Adapter, an effective and lightweight adapter to achieve image prompt capability for the pretrained text-to-image diffusion models. The key design of our IP-Adapter is decoupled cross-attention mechanism that separates cross-attention layers for text features and image features. Despite the simplicity of our method, an IP-Adapter with only 22M parameters can achieve comparable or even better performance to a fully fine-tuned image prompt model. As we freeze the pretrained diffusion model, the proposed IP-Adapter can be generalized not only to other custom models fine-tuned from the same base model, but also to controllable generation using existing controllable tools. With the benefit of the decoupled cross-attention strategy, the image prompt can also work well with the text prompt to achieve multimodal image generation. The project page is available at https://ip-adapter.github.io.