IP-Adapter: Текстово-совместимый адаптер изображений для текстово-изобразительных диффузионных моделей

IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models

August 13, 2023

Авторы: Hu Ye, Jun Zhang, Sibo Liu, Xiao Han, Wei Yang

cs.AI

Аннотация

В последние годы крупные модели диффузии текста в изображения продемонстрировали впечатляющую способность генерировать высококачественные изображения. Однако создание желаемых изображений с использованием только текстовых подсказок является сложной задачей, так как часто требует тщательной разработки таких подсказок. Альтернативой текстовым подсказкам являются изображения, ведь, как гласит поговорка: "одно изображение стоит тысячи слов". Хотя существующие методы прямой тонкой настройки предобученных моделей эффективны, они требуют значительных вычислительных ресурсов и не совместимы с другими базовыми моделями, текстовыми подсказками и структурными контроллерами. В данной статье мы представляем IP-Adapter — эффективный и легковесный адаптер, который позволяет предобученным моделям диффузии текста в изображения работать с изображениями в качестве подсказок. Ключевой особенностью нашего IP-Adapter является механизм разделенного кросс-внимания, который разделяет слои кросс-внимания для текстовых и визуальных признаков. Несмотря на простоту нашего метода, IP-Adapter с всего 22 миллионами параметров может достичь сопоставимой или даже лучшей производительности по сравнению с полностью настроенной моделью для работы с изображениями-подсказками. Поскольку мы замораживаем предобученную модель диффузии, предложенный IP-Adapter может быть обобщен не только для других пользовательских моделей, настроенных на основе той же базовой модели, но и для управляемой генерации с использованием существующих инструментов управления. Благодаря стратегии разделенного кросс-внимания, изображения-подсказки также могут эффективно работать совместно с текстовыми подсказками для достижения мультимодальной генерации изображений. Страница проекта доступна по адресу https://ip-adapter.github.io.

English

Recent years have witnessed the strong power of large text-to-image diffusion models for the impressive generative capability to create high-fidelity images. However, it is very tricky to generate desired images using only text prompt as it often involves complex prompt engineering. An alternative to text prompt is image prompt, as the saying goes: "an image is worth a thousand words". Although existing methods of direct fine-tuning from pretrained models are effective, they require large computing resources and are not compatible with other base models, text prompt, and structural controls. In this paper, we present IP-Adapter, an effective and lightweight adapter to achieve image prompt capability for the pretrained text-to-image diffusion models. The key design of our IP-Adapter is decoupled cross-attention mechanism that separates cross-attention layers for text features and image features. Despite the simplicity of our method, an IP-Adapter with only 22M parameters can achieve comparable or even better performance to a fully fine-tuned image prompt model. As we freeze the pretrained diffusion model, the proposed IP-Adapter can be generalized not only to other custom models fine-tuned from the same base model, but also to controllable generation using existing controllable tools. With the benefit of the decoupled cross-attention strategy, the image prompt can also work well with the text prompt to achieve multimodal image generation. The project page is available at https://ip-adapter.github.io.