IP-Adapter : Adaptateur d'invites d'image compatible avec le texte pour les modèles de diffusion texte-à-image

IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

August 13, 2023

Auteurs: Hu Ye, Jun Zhang, Sibo Liu, Xiao Han, Wei Yang

cs.AI

Résumé

Ces dernières années ont démontré la puissance impressionnante des grands modèles de diffusion texte-image pour leur capacité générative à créer des images de haute fidélité. Cependant, il est très délicat de générer des images souhaitées en utilisant uniquement des invites textuelles, car cela implique souvent une ingénierie complexe des prompts. Une alternative aux invites textuelles est l'invite visuelle, comme le dit l'adage : "une image vaut mille mots". Bien que les méthodes existantes de fine-tuning direct à partir de modèles pré-entraînés soient efficaces, elles nécessitent d'importantes ressources de calcul et ne sont pas compatibles avec d'autres modèles de base, les invites textuelles et les contrôles structurels. Dans cet article, nous présentons IP-Adapter, un adaptateur efficace et léger pour doter les modèles de diffusion texte-image pré-entraînés de la capacité à utiliser des invites visuelles. La conception clé de notre IP-Adapter repose sur un mécanisme d'attention croisée découplé qui sépare les couches d'attention croisée pour les caractéristiques textuelles et visuelles. Malgré la simplicité de notre méthode, un IP-Adapter avec seulement 22M de paramètres peut atteindre des performances comparables, voire supérieures, à un modèle d'invite visuelle entièrement fine-tuné. Comme nous gelons le modèle de diffusion pré-entraîné, l'IP-Adapter proposé peut être généralisé non seulement à d'autres modèles personnalisés fine-tunés à partir du même modèle de base, mais aussi à la génération contrôlée en utilisant des outils de contrôle existants. Grâce à la stratégie d'attention croisée découplée, l'invite visuelle peut également fonctionner efficacement avec l'invite textuelle pour réaliser une génération d'images multimodales. La page du projet est disponible à l'adresse https://ip-adapter.github.io.

English

Recent years have witnessed the strong power of large text-to-image diffusion models for the impressive generative capability to create high-fidelity images. However, it is very tricky to generate desired images using only text prompt as it often involves complex prompt engineering. An alternative to text prompt is image prompt, as the saying goes: "an image is worth a thousand words". Although existing methods of direct fine-tuning from pretrained models are effective, they require large computing resources and are not compatible with other base models, text prompt, and structural controls. In this paper, we present IP-Adapter, an effective and lightweight adapter to achieve image prompt capability for the pretrained text-to-image diffusion models. The key design of our IP-Adapter is decoupled cross-attention mechanism that separates cross-attention layers for text features and image features. Despite the simplicity of our method, an IP-Adapter with only 22M parameters can achieve comparable or even better performance to a fully fine-tuned image prompt model. As we freeze the pretrained diffusion model, the proposed IP-Adapter can be generalized not only to other custom models fine-tuned from the same base model, but also to controllable generation using existing controllable tools. With the benefit of the decoupled cross-attention strategy, the image prompt can also work well with the text prompt to achieve multimodal image generation. The project page is available at https://ip-adapter.github.io.