Capaciteit extraheren uit multimodale grote taalmodellen voor onderwerpgestuurde generatie

Samenvatting

Onderwerpgestuurde beeldgeneratie heeft tot doel nieuwe afbeeldingen te synthetiseren die de identiteit van het gegeven onderwerp behouden en tegelijkertijd tekstuele instructies volgen. Bestaande benaderingen coderen tekst en referentiebeelden vaak afzonderlijk. Dit beperkt de cross-modale redeneervaardigheden en veroorzaakt copy-paste artefacten. Recente raamwerken die multimodale modellen en diffusiemodellen verbinden, verbeteren het opvolgen van instructies, maar negeren grotendeels het behoud van identiteit. Om deze beperkingen aan te pakken, conditioneren we diffusiemodellen op Multimodale Grote Taalmodellen (MLLMs) die tekst en referentiebeelden gezamenlijk coderen, en vullen we dit aan met VAE-gebaseerde identiteitsconditionering. Een nieuwe Dual Layer Aggregation (DLA)-module is ontworpen om multi-level MLLM-kenmerken te aggregeren voor optimale conditionering, en een meerfasige ontruisingsstrategie wordt toegepast om tijdens de inferentie geleidelijk de semantische informatie van MLLM en de fijne detailidentiteit van VAE in evenwicht te brengen. Uitgebreide experimenten tonen aan dat onze aanpak multimodaal begrip harmonieert met identiteitsbehoud, copy-paste problemen vermindert en superieure prestaties levert met betrekking tot menselijke voorkeur bij onderwerpgestuurde beeldgeneratie. Onze projectwebsite is beschikbaar op https://zsh2000.github.io/squeeze-mllm-subject-gen/.

English

Subject-driven image generation aims to synthesize new images that preserve the identity of the given subject while following textual instructions. Existing approaches often encode text and reference images separately. This limits cross-modal reasoning abilities and causes copy-paste artifacts. Recent frameworks that connect multimodal models and diffusion models improve instruction following, but largely overlook identity preservation. To address these limitations, we condition diffusion models on Multimodal Large Language Models (MLLMs) that jointly encode text and reference images, and augment it with VAE-based identity conditioning. A novel Dual Layer Aggregation (DLA) module is designed to aggregate multi-level MLLM features for optimal conditioning, and a multi-stage denoising strategy is applied to progressively balance the semantic information from MLLM and fine-detail identity from VAE during inference. Extensive experiments demonstrate that our approach harmonizes multimodal understanding with identity preservation, mitigates copy-paste issues, and achieves superior performance regarding human preference on subject-driven image generation. Our project website is available at https://zsh2000.github.io/squeeze-mllm-subject-gen/.