Extraire la capacité des grands modèles de langage multimodaux pour la génération guidée par le sujet

Résumé

La génération d'images dirigée par un sujet vise à synthétiser de nouvelles images qui préservent l'identité d'un sujet donné tout en suivant des instructions textuelles. Les approches existantes encodent souvent séparément le texte et les images de référence, ce qui limite les capacités de raisonnement intermodal et provoque des artefacts de copier-coller. Des cadres récents qui connectent les modèles multimodaux et les modèles de diffusion améliorent le suivi des instructions, mais négligent largement la préservation de l'identité. Pour remédier à ces limitations, nous conditionnons les modèles de diffusion sur des Modèles de Langage Multimodaux de Grande Taille (MLLMs) qui encodent conjointement le texte et les images de référence, et nous les augmentons avec un conditionnement d'identité basé sur VAE. Un nouveau module d'Agrégation en Deux Couches (DLA) est conçu pour agréger les caractéristiques multi-niveaux du MLLM afin d'obtenir un conditionnement optimal, et une stratégie de débruitage en plusieurs étapes est appliquée pour équilibrer progressivement les informations sémantiques du MLLM et les détails fins d'identité du VAE lors de l'inférence. Des expériences approfondies démontrent que notre approche harmonise la compréhension multimodale avec la préservation de l'identité, atténue les problèmes de copier-coller et atteint des performances supérieures en termes de préférence humaine pour la génération d'images dirigée par un sujet. Notre site web de projet est accessible à l'adresse https://zsh2000.github.io/squeeze-mllm-subject-gen/.

English

Subject-driven image generation aims to synthesize new images that preserve the identity of the given subject while following textual instructions. Existing approaches often encode text and reference images separately. This limits cross-modal reasoning abilities and causes copy-paste artifacts. Recent frameworks that connect multimodal models and diffusion models improve instruction following, but largely overlook identity preservation. To address these limitations, we condition diffusion models on Multimodal Large Language Models (MLLMs) that jointly encode text and reference images, and augment it with VAE-based identity conditioning. A novel Dual Layer Aggregation (DLA) module is designed to aggregate multi-level MLLM features for optimal conditioning, and a multi-stage denoising strategy is applied to progressively balance the semantic information from MLLM and fine-detail identity from VAE during inference. Extensive experiments demonstrate that our approach harmonizes multimodal understanding with identity preservation, mitigates copy-paste issues, and achieves superior performance regarding human preference on subject-driven image generation. Our project website is available at https://zsh2000.github.io/squeeze-mllm-subject-gen/.