EasyRef: Omni-Обобщенная групповая изображенческая ссылка для моделей диффузии через Мультимодальную LLM

EasyRef: Omni-Generalized Group Image Reference for Diffusion Models via Multimodal LLM

December 12, 2024

Авторы: Zhuofan Zong, Dongzhi Jiang, Bingqi Ma, Guanglu Song, Hao Shao, Dazhong Shen, Yu Liu, Hongsheng Li

cs.AI

Аннотация

Были отмечены значительные достижения в персонализации моделей диффузии. Традиционные методы без настройки в основном кодируют несколько опорных изображений путем усреднения их вложений изображений в качестве условия инъекции, однако такая операция, независимая от изображения, не способна взаимодействовать между изображениями для захвата согласованных визуальных элементов в нескольких опорных изображениях. Хотя настраиваемый метод низкоранговой адаптации (LoRA) может эффективно извлекать согласованные элементы в нескольких изображениях в процессе обучения, он требует специфической донастройки для каждой отдельной группы изображений. В данной статье представлен метод EasyRef, новый метод адаптации "подключи и используй", который позволяет моделям диффузии быть условными по отношению к нескольким опорным изображениям и текстовому запросу. Для эффективного использования согласованных визуальных элементов в нескольких изображениях мы используем мультимодельную модель на основе большого языкового моделирования (MLLM), побуждая ее захватывать согласованные визуальные элементы на основе инструкции. Кроме того, инъекция представлений MLLM в процесс диффузии через адаптеры может легко обобщаться на невидимые области, извлекая согласованные визуальные элементы в невидимых данных. Для снижения вычислительных затрат и улучшения сохранения мелких деталей мы предлагаем эффективную стратегию агрегации опорных изображений и пошаговую схему обучения. Наконец, мы представляем MRBench, новый бенчмарк генерации множественных опорных изображений. Экспериментальные результаты показывают, что EasyRef превосходит как методы без настройки, такие как IP-Adapter, так и настраиваемые методы, такие как LoRA, достигая превосходного эстетического качества и надежной обобщения без обучения на различных областях.

English

Significant achievements in personalization of diffusion models have been witnessed. Conventional tuning-free methods mostly encode multiple reference images by averaging their image embeddings as the injection condition, but such an image-independent operation cannot perform interaction among images to capture consistent visual elements within multiple references. Although the tuning-based Low-Rank Adaptation (LoRA) can effectively extract consistent elements within multiple images through the training process, it necessitates specific finetuning for each distinct image group. This paper introduces EasyRef, a novel plug-and-play adaptation method that enables diffusion models to be conditioned on multiple reference images and the text prompt. To effectively exploit consistent visual elements within multiple images, we leverage the multi-image comprehension and instruction-following capabilities of the multimodal large language model (MLLM), prompting it to capture consistent visual elements based on the instruction. Besides, injecting the MLLM's representations into the diffusion process through adapters can easily generalize to unseen domains, mining the consistent visual elements within unseen data. To mitigate computational costs and enhance fine-grained detail preservation, we introduce an efficient reference aggregation strategy and a progressive training scheme. Finally, we introduce MRBench, a new multi-reference image generation benchmark. Experimental results demonstrate EasyRef surpasses both tuning-free methods like IP-Adapter and tuning-based methods like LoRA, achieving superior aesthetic quality and robust zero-shot generalization across diverse domains.