MoMA: Multimodale LLM-adapter voor snelle gepersonaliseerde beeldgeneratie

MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation

April 8, 2024

Auteurs: Kunpeng Song, Yizhe Zhu, Bingchen Liu, Qing Yan, Ahmed Elgammal, Xiao Yang

cs.AI

Samenvatting

In dit artikel presenteren we MoMA: een open-vocabulaire, trainingsvrij gepersonaliseerd beeldmodel dat beschikt over flexibele zero-shot-mogelijkheden. Naarmate fundamentele tekst-naar-beeldmodellen zich snel ontwikkelen, groeit de vraag naar robuuste beeld-naar-beeldvertaling. Om aan deze behoefte tegemoet te komen, specialiseert MoMA zich in onderwerpgedreven gepersonaliseerde beeldgeneratie. Door gebruik te maken van een open-source, Multimodaal Taalmodel (MLLM), trainen we MoMA om een dubbele rol te vervullen als zowel een feature-extractor als een generator. Deze aanpak combineert effectief referentiebeeld- en tekstpromptinformatie om waardevolle beeldkenmerken te produceren, wat een beelddiffusiemodel faciliteert. Om de gegenereerde kenmerken beter te benutten, introduceren we verder een nieuwe zelf-attentie shortcut-methode die beeldkenmerken efficiënt overbrengt naar een beelddiffusiemodel, waardoor de gelijkenis van het doelobject in gegenereerde beelden wordt verbeterd. Opmerkelijk is dat ons model, als een tuning-vrij plug-and-play module, slechts één referentiebeeld nodig heeft en bestaande methoden overtreft in het genereren van beelden met hoge detailgetrouwheid, verbeterde identiteitsbehoud en promptgetrouwheid. Ons werk is open-source, waardoor deze vooruitgang universeel toegankelijk is.

English

In this paper, we present MoMA: an open-vocabulary, training-free personalized image model that boasts flexible zero-shot capabilities. As foundational text-to-image models rapidly evolve, the demand for robust image-to-image translation grows. Addressing this need, MoMA specializes in subject-driven personalized image generation. Utilizing an open-source, Multimodal Large Language Model (MLLM), we train MoMA to serve a dual role as both a feature extractor and a generator. This approach effectively synergizes reference image and text prompt information to produce valuable image features, facilitating an image diffusion model. To better leverage the generated features, we further introduce a novel self-attention shortcut method that efficiently transfers image features to an image diffusion model, improving the resemblance of the target object in generated images. Remarkably, as a tuning-free plug-and-play module, our model requires only a single reference image and outperforms existing methods in generating images with high detail fidelity, enhanced identity-preservation and prompt faithfulness. Our work is open-source, thereby providing universal access to these advancements.