Extrayendo capacidad de modelos de lenguaje grandes multimodales para generación guiada por sujetos

Resumen

La generación de imágenes guiada por sujetos tiene como objetivo sintetizar nuevas imágenes que preserven la identidad del sujeto dado mientras siguen instrucciones textuales. Los enfoques existentes a menudo codifican el texto y las imágenes de referencia por separado, lo que limita las capacidades de razonamiento entre modalidades y provoca artefactos de copia y pegado. Marcos recientes que conectan modelos multimodales y modelos de difusión mejoran el seguimiento de instrucciones, pero en gran medida pasan por alto la preservación de la identidad. Para abordar estas limitaciones, condicionamos modelos de difusión en Modelos de Lenguaje Grande Multimodales (MLLMs) que codifican conjuntamente texto e imágenes de referencia, y lo aumentamos con condicionamiento de identidad basado en VAE. Se diseña un novedoso módulo de Agregación de Capas Duales (DLA) para agregar características multinivel del MLLM para un condicionamiento óptimo, y se aplica una estrategia de denoising en múltiples etapas para equilibrar progresivamente la información semántica del MLLM y la identidad de detalle fino del VAE durante la inferencia. Experimentos extensos demuestran que nuestro enfoque armoniza la comprensión multimodal con la preservación de la identidad, mitiga los problemas de copia y pegado, y logra un rendimiento superior en cuanto a preferencia humana en la generación de imágenes guiada por sujetos. Nuestro sitio web del proyecto está disponible en https://zsh2000.github.io/squeeze-mllm-subject-gen/.

English

Subject-driven image generation aims to synthesize new images that preserve the identity of the given subject while following textual instructions. Existing approaches often encode text and reference images separately. This limits cross-modal reasoning abilities and causes copy-paste artifacts. Recent frameworks that connect multimodal models and diffusion models improve instruction following, but largely overlook identity preservation. To address these limitations, we condition diffusion models on Multimodal Large Language Models (MLLMs) that jointly encode text and reference images, and augment it with VAE-based identity conditioning. A novel Dual Layer Aggregation (DLA) module is designed to aggregate multi-level MLLM features for optimal conditioning, and a multi-stage denoising strategy is applied to progressively balance the semantic information from MLLM and fine-detail identity from VAE during inference. Extensive experiments demonstrate that our approach harmonizes multimodal understanding with identity preservation, mitigates copy-paste issues, and achieves superior performance regarding human preference on subject-driven image generation. Our project website is available at https://zsh2000.github.io/squeeze-mllm-subject-gen/.