MoMA: Multimodaler LLM-Adapter für schnelle personalisierte Bildgenerierung

MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation

April 8, 2024

Autoren: Kunpeng Song, Yizhe Zhu, Bingchen Liu, Qing Yan, Ahmed Elgammal, Xiao Yang

cs.AI

Zusammenfassung

In diesem Paper präsentieren wir MoMA: ein Open-Vocabulary, Training-freies personalisiertes Bildmodell, das über flexible Zero-Shot-Fähigkeiten verfügt. Während grundlegende Text-zu-Bild-Modelle sich schnell weiterentwickeln, wächst die Nachfrage nach robusten Bild-zu-Bild-Übersetzungen. Um diesem Bedarf gerecht zu werden, spezialisiert sich MoMA auf die subjektgesteuerte personalisierte Bildgenerierung. Unter Verwendung eines Open-Source Multimodal Large Language Model (MLLM) trainieren wir MoMA, um eine doppelte Rolle als Merkmalsextraktor und Generator zu erfüllen. Dieser Ansatz nutzt effektiv Referenzbild- und Textprompt-Informationen, um wertvolle Bildmerkmale zu erzeugen, die die Bildverdünnung unterstützen. Um die generierten Merkmale besser zu nutzen, führen wir zudem eine neuartige Self-Attention-Shortcut-Methode ein, die Bildmerkmale effizient an ein Bildverdünnungsmodell überträgt und die Ähnlichkeit des Zielobjekts in generierten Bildern verbessert. Bemerkenswerterweise benötigt unser Modell als abstimmungsfreies Plug-and-Play-Modul nur ein einziges Referenzbild und übertrifft bestehende Methoden bei der Generierung von Bildern mit hoher Detailtreue, verbesserte Identitätserhaltung und Treue zum Prompt. Unsere Arbeit ist Open-Source und ermöglicht somit einen universellen Zugang zu diesen Fortschritten.

English

In this paper, we present MoMA: an open-vocabulary, training-free personalized image model that boasts flexible zero-shot capabilities. As foundational text-to-image models rapidly evolve, the demand for robust image-to-image translation grows. Addressing this need, MoMA specializes in subject-driven personalized image generation. Utilizing an open-source, Multimodal Large Language Model (MLLM), we train MoMA to serve a dual role as both a feature extractor and a generator. This approach effectively synergizes reference image and text prompt information to produce valuable image features, facilitating an image diffusion model. To better leverage the generated features, we further introduce a novel self-attention shortcut method that efficiently transfers image features to an image diffusion model, improving the resemblance of the target object in generated images. Remarkably, as a tuning-free plug-and-play module, our model requires only a single reference image and outperforms existing methods in generating images with high detail fidelity, enhanced identity-preservation and prompt faithfulness. Our work is open-source, thereby providing universal access to these advancements.