LeichtRef: Omni-generalisierte Gruppenbildreferenz für Diffusionsmodelle über multimodale LLM

EasyRef: Omni-Generalized Group Image Reference for Diffusion Models via Multimodal LLM

December 12, 2024

Autoren: Zhuofan Zong, Dongzhi Jiang, Bingqi Ma, Guanglu Song, Hao Shao, Dazhong Shen, Yu Liu, Hongsheng Li

cs.AI

Zusammenfassung

Bedeutende Fortschritte bei der Personalisierung von Diffusionsmodellen wurden beobachtet. Herkömmliche abstimmungsfreie Methoden kodieren in der Regel mehrere Referenzbilder, indem sie ihre Bild-Einbettungen als Injektionsbedingung mitteln, aber eine solche bildunabhängige Operation kann keine Interaktion zwischen Bildern durchführen, um konsistente visuelle Elemente innerhalb mehrerer Referenzen zu erfassen. Obwohl die abstimmungsbasierte Methode der Niedrig-Rang-Anpassung (LoRA) konsistente Elemente innerhalb mehrerer Bilder effektiv durch den Schulungsprozess extrahieren kann, erfordert sie spezifisches Feintuning für jede unterschiedliche Bildgruppe. Dieses Papier stellt EasyRef vor, eine neuartige Plug-and-Play-Anpassungsmethode, die es Diffusionsmodellen ermöglicht, auf mehreren Referenzbildern und dem Textprompt basiert zu werden. Um konsistente visuelle Elemente innerhalb mehrerer Bilder effektiv zu nutzen, nutzen wir die multimodalen Fähigkeiten des multimodalen großen Sprachmodells (MLLM), um konsistente visuelle Elemente basierend auf der Anweisung zu erfassen. Darüber hinaus kann durch das Einbringen der Repräsentationen des MLLM in den Diffusionsprozess durch Adapter leicht auf unerforschte Bereiche verallgemeinert werden, um konsistente visuelle Elemente in unbekannten Daten abzubauen. Um die Rechenkosten zu reduzieren und die Erhaltung feiner Details zu verbessern, führen wir eine effiziente Referenzaggregationsstrategie und ein progressives Schulungsschema ein. Schließlich stellen wir MRBench vor, einen neuen Benchmark für die Generierung von Multi-Referenzbildern. Experimentelle Ergebnisse zeigen, dass EasyRef sowohl abstimmungsfreie Methoden wie IP-Adapter als auch abstimmungsbasierte Methoden wie LoRA übertrifft und eine überlegene ästhetische Qualität und robuste Null-Schuss-Verallgemeinerung über verschiedene Bereiche hinweg erreicht.

English

Significant achievements in personalization of diffusion models have been witnessed. Conventional tuning-free methods mostly encode multiple reference images by averaging their image embeddings as the injection condition, but such an image-independent operation cannot perform interaction among images to capture consistent visual elements within multiple references. Although the tuning-based Low-Rank Adaptation (LoRA) can effectively extract consistent elements within multiple images through the training process, it necessitates specific finetuning for each distinct image group. This paper introduces EasyRef, a novel plug-and-play adaptation method that enables diffusion models to be conditioned on multiple reference images and the text prompt. To effectively exploit consistent visual elements within multiple images, we leverage the multi-image comprehension and instruction-following capabilities of the multimodal large language model (MLLM), prompting it to capture consistent visual elements based on the instruction. Besides, injecting the MLLM's representations into the diffusion process through adapters can easily generalize to unseen domains, mining the consistent visual elements within unseen data. To mitigate computational costs and enhance fine-grained detail preservation, we introduce an efficient reference aggregation strategy and a progressive training scheme. Finally, we introduce MRBench, a new multi-reference image generation benchmark. Experimental results demonstrate EasyRef surpasses both tuning-free methods like IP-Adapter and tuning-based methods like LoRA, achieving superior aesthetic quality and robust zero-shot generalization across diverse domains.