マルチモーダル大規模言語モデルから主題駆動型生成のための能力を引き出す

要旨

主題駆動画像生成は、指定された被写体の同一性を保持しつつ、テキスト指示に従った新しい画像を合成することを目的とする。既存の手法では、テキストと参照画像を別々にエンコードすることが多く、これによりクロスモーダルな推論能力が制限され、コピーペーストのアーティファクトが引き起こされる。マルチモーダルモデルと拡散モデルを接続する最近のフレームワークは指示追従性を改善するが、同一性保持はほとんど考慮されていない。これらの限界に対処するため、我々はテキストと参照画像を共同でエンコードするマルチモーダル大規模言語モデル（MLLM）に拡散モデルを条件付け、さらにVAEベースの同一性条件付けでこれを強化する。新たに設計されたDual Layer Aggregation（DLA）モジュールは、最適な条件付けのために多層MLLM特徴を集約し、多段階ノイズ除去戦略を適用して、推論時にMLLMからの意味情報とVAEからの微細な同一性の詳細を段階的にバランスさせる。広範な実験により、我々のアプローチはマルチモーダル理解と同一性保持を調和させ、コピーペースト問題を軽減し、主題駆動画像生成における人間の選好に関して優れた性能を達成することを示す。プロジェクトウェブサイトはhttps://zsh2000.github.io/squeeze-mllm-subject-gen/で公開されている。

English

Subject-driven image generation aims to synthesize new images that preserve the identity of the given subject while following textual instructions. Existing approaches often encode text and reference images separately. This limits cross-modal reasoning abilities and causes copy-paste artifacts. Recent frameworks that connect multimodal models and diffusion models improve instruction following, but largely overlook identity preservation. To address these limitations, we condition diffusion models on Multimodal Large Language Models (MLLMs) that jointly encode text and reference images, and augment it with VAE-based identity conditioning. A novel Dual Layer Aggregation (DLA) module is designed to aggregate multi-level MLLM features for optimal conditioning, and a multi-stage denoising strategy is applied to progressively balance the semantic information from MLLM and fine-detail identity from VAE during inference. Extensive experiments demonstrate that our approach harmonizes multimodal understanding with identity preservation, mitigates copy-paste issues, and achieves superior performance regarding human preference on subject-driven image generation. Our project website is available at https://zsh2000.github.io/squeeze-mllm-subject-gen/.