Kapazitätsausschöpfung aus multimodalen großen Sprachmodellen für subjektgetriebene Generierung

Zusammenfassung

Die subjektgesteuerte Bildgenerierung zielt darauf ab, neue Bilder zu synthetisieren, die die Identität eines vorgegebenen Subjekts bewahren und gleichzeitig textuellen Anweisungen folgen. Bisherige Ansätze kodieren Text und Referenzbilder oft getrennt, was die crossmodalen Denkfähigkeiten einschränkt und Copy-Paste-Artefakte verursacht. Neuere Frameworks, die multimodale Modelle mit Diffusionsmodellen verbinden, verbessern zwar die Anweisungsbefolgung, vernachlässigen jedoch weitgehend den Identitätserhalt. Um diese Einschränkungen zu adressieren, konditionieren wir Diffusionsmodelle auf multimodale große Sprachmodelle (MLLMs), die Text und Referenzbilder gemeinsam kodieren, und ergänzen diese mit einer VAE-basierten Identitätskonditionierung. Ein neuartiges Dual-Layer-Aggregationsmodul (DLA) wird entwickelt, um mehrstufige MLLM-Merkmale für eine optimale Konditionierung zu aggregieren. Eine mehrstufige Denoising-Strategie wird angewandt, um während der Inferenz schrittweise die semantischen Informationen aus dem MLLM mit den feinen Identitätsdetails aus der VAE auszubalancieren. Umfangreiche Experimente zeigen, dass unser Ansatz multimodales Verständnis mit Identitätserhalt harmonisiert, Copy-Paste-Probleme reduziert und in Bezug auf menschliche Präferenzen bei der subjektgesteuerten Bildgenerierung überlegene Leistung erzielt. Unsere Projekt-Website ist verfügbar unter https://zsh2000.github.io/squeeze-mllm-subject-gen/.

English

Subject-driven image generation aims to synthesize new images that preserve the identity of the given subject while following textual instructions. Existing approaches often encode text and reference images separately. This limits cross-modal reasoning abilities and causes copy-paste artifacts. Recent frameworks that connect multimodal models and diffusion models improve instruction following, but largely overlook identity preservation. To address these limitations, we condition diffusion models on Multimodal Large Language Models (MLLMs) that jointly encode text and reference images, and augment it with VAE-based identity conditioning. A novel Dual Layer Aggregation (DLA) module is designed to aggregate multi-level MLLM features for optimal conditioning, and a multi-stage denoising strategy is applied to progressively balance the semantic information from MLLM and fine-detail identity from VAE during inference. Extensive experiments demonstrate that our approach harmonizes multimodal understanding with identity preservation, mitigates copy-paste issues, and achieves superior performance regarding human preference on subject-driven image generation. Our project website is available at https://zsh2000.github.io/squeeze-mllm-subject-gen/.