MoMA: Мультимодальный адаптер LLM для быстрой персонализированной генерации изображений

MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation

April 8, 2024

Авторы: Kunpeng Song, Yizhe Zhu, Bingchen Liu, Qing Yan, Ahmed Elgammal, Xiao Yang

cs.AI

Аннотация

В данной статье мы представляем MoMA: модель изображений с открытым словарем, не требующую обучения, обладающую гибкими возможностями нулевого обучения и персонализации. По мере быстрого развития основных моделей текст-к-изображению, растет спрос на надежные модели перевода изображений-в-изображения. Для решения этой потребности MoMA специализируется на генерации изображений, персонализированных под определенную тематику. Используя открытую модель большого языкового объема (MLLM), мы обучаем MoMA выполнять двойную роль - как извлекатель признаков и генератор. Этот подход эффективно синергизирует информацию о референтном изображении и текстовом подсказке для создания ценных признаков изображения, облегчая модель диффузии изображений. Для более эффективного использования сгенерированных признаков мы также представляем новый метод сокращения самовнимания, который эффективно передает признаки изображения в модель диффузии изображений, улучшая сходство целевого объекта на сгенерированных изображениях. Замечательно, что в качестве модуля, не требующего настройки, наша модель требует всего одного референтного изображения и превосходит существующие методы в генерации изображений с высокой детализацией, улучшенным сохранением идентичности и точностью подсказки. Наша работа с открытым исходным кодом обеспечивает универсальный доступ к этим достижениям.

English

In this paper, we present MoMA: an open-vocabulary, training-free personalized image model that boasts flexible zero-shot capabilities. As foundational text-to-image models rapidly evolve, the demand for robust image-to-image translation grows. Addressing this need, MoMA specializes in subject-driven personalized image generation. Utilizing an open-source, Multimodal Large Language Model (MLLM), we train MoMA to serve a dual role as both a feature extractor and a generator. This approach effectively synergizes reference image and text prompt information to produce valuable image features, facilitating an image diffusion model. To better leverage the generated features, we further introduce a novel self-attention shortcut method that efficiently transfers image features to an image diffusion model, improving the resemblance of the target object in generated images. Remarkably, as a tuning-free plug-and-play module, our model requires only a single reference image and outperforms existing methods in generating images with high detail fidelity, enhanced identity-preservation and prompt faithfulness. Our work is open-source, thereby providing universal access to these advancements.