EasyRef : Référence d'image de groupe omni-généralisée pour les modèles de diffusion via Multimodal LLM

EasyRef: Omni-Generalized Group Image Reference for Diffusion Models via Multimodal LLM

December 12, 2024

Auteurs: Zhuofan Zong, Dongzhi Jiang, Bingqi Ma, Guanglu Song, Hao Shao, Dazhong Shen, Yu Liu, Hongsheng Li

cs.AI

Résumé

Des réalisations significatives dans la personnalisation des modèles de diffusion ont été observées. Les méthodes conventionnelles sans réglage encodent principalement plusieurs images de référence en moyennant leurs plongements d'image comme condition d'injection, mais une telle opération indépendante de l'image ne peut pas interagir entre les images pour capturer des éléments visuels cohérents parmi les multiples références. Bien que l'adaptation à faible rang basée sur le réglage (LoRA) puisse extraire efficacement des éléments cohérents parmi plusieurs images tout au long du processus d'entraînement, elle nécessite un affinage spécifique pour chaque groupe d'images distinct. Cet article présente EasyRef, une nouvelle méthode d'adaptation plug-and-play qui permet aux modèles de diffusion d'être conditionnés par plusieurs images de référence et la consigne textuelle. Pour exploiter efficacement des éléments visuels cohérents parmi plusieurs images, nous exploitons les capacités de compréhension multi-images et de suivi des instructions du modèle de langage multimodal large (MLLM), le poussant à capturer des éléments visuels cohérents en fonction de l'instruction. De plus, injecter les représentations du MLLM dans le processus de diffusion à travers des adaptateurs peut facilement se généraliser à des domaines non vus, en extrayant les éléments visuels cohérents au sein de données non vues. Pour atténuer les coûts computationnels et améliorer la préservation des détails fins, nous introduisons une stratégie efficace d'agrégation de références et un schéma d'entraînement progressif. Enfin, nous présentons MRBench, un nouveau banc d'essai de génération d'images multi-références. Les résultats expérimentaux démontrent qu'EasyRef surpasse à la fois les méthodes sans réglage comme IP-Adapter et les méthodes basées sur le réglage comme LoRA, atteignant une qualité esthétique supérieure et une généralisation zéro-shot robuste à travers des domaines divers.

English

Significant achievements in personalization of diffusion models have been witnessed. Conventional tuning-free methods mostly encode multiple reference images by averaging their image embeddings as the injection condition, but such an image-independent operation cannot perform interaction among images to capture consistent visual elements within multiple references. Although the tuning-based Low-Rank Adaptation (LoRA) can effectively extract consistent elements within multiple images through the training process, it necessitates specific finetuning for each distinct image group. This paper introduces EasyRef, a novel plug-and-play adaptation method that enables diffusion models to be conditioned on multiple reference images and the text prompt. To effectively exploit consistent visual elements within multiple images, we leverage the multi-image comprehension and instruction-following capabilities of the multimodal large language model (MLLM), prompting it to capture consistent visual elements based on the instruction. Besides, injecting the MLLM's representations into the diffusion process through adapters can easily generalize to unseen domains, mining the consistent visual elements within unseen data. To mitigate computational costs and enhance fine-grained detail preservation, we introduce an efficient reference aggregation strategy and a progressive training scheme. Finally, we introduce MRBench, a new multi-reference image generation benchmark. Experimental results demonstrate EasyRef surpasses both tuning-free methods like IP-Adapter and tuning-based methods like LoRA, achieving superior aesthetic quality and robust zero-shot generalization across diverse domains.