MoMA：高速パーソナライズド画像生成のためのマルチモーダルLLMアダプター

MoMA: Multimodal LLM Adapter for Fast Personalized Image Generation

April 8, 2024

著者: Kunpeng Song, Yizhe Zhu, Bingchen Liu, Qing Yan, Ahmed Elgammal, Xiao Yang

cs.AI

要旨

本論文では、MoMAを紹介します。これはオープン語彙でトレーニング不要のパーソナライズド画像モデルであり、柔軟なゼロショット能力を備えています。基盤となるテキストから画像へのモデルが急速に進化する中、ロバストな画像間変換への需要が高まっています。このニーズに対応するため、MoMAは被写体主導のパーソナライズド画像生成に特化しています。オープンソースのマルチモーダル大規模言語モデル（MLLM）を活用し、MoMAを特徴抽出器と生成器の二重の役割で訓練します。このアプローチにより、参照画像とテキストプロンプトの情報を効果的に統合して価値ある画像特徴を生成し、画像拡散モデルを促進します。生成された特徴をより活用するため、新しいセルフアテンションショートカット手法を導入し、画像特徴を画像拡散モデルに効率的に転送することで、生成画像内のターゲットオブジェクトの類似性を向上させます。注目すべきは、チューニング不要のプラグアンドプレイモジュールとして、当モデルは単一の参照画像のみを必要とし、高詳細忠実度、強化された同一性保持、プロンプト忠実度を備えた画像生成において既存の手法を凌駕します。本研究はオープンソースであり、これらの進歩への普遍的なアクセスを提供します。

English

In this paper, we present MoMA: an open-vocabulary, training-free personalized image model that boasts flexible zero-shot capabilities. As foundational text-to-image models rapidly evolve, the demand for robust image-to-image translation grows. Addressing this need, MoMA specializes in subject-driven personalized image generation. Utilizing an open-source, Multimodal Large Language Model (MLLM), we train MoMA to serve a dual role as both a feature extractor and a generator. This approach effectively synergizes reference image and text prompt information to produce valuable image features, facilitating an image diffusion model. To better leverage the generated features, we further introduce a novel self-attention shortcut method that efficiently transfers image features to an image diffusion model, improving the resemblance of the target object in generated images. Remarkably, as a tuning-free plug-and-play module, our model requires only a single reference image and outperforms existing methods in generating images with high detail fidelity, enhanced identity-preservation and prompt faithfulness. Our work is open-source, thereby providing universal access to these advancements.