Извлечение потенциала мультимодальных больших языковых моделей для субъектно-ориентированной генерации

Аннотация

Генерация изображений, управляемая заданным субъектом, направлена на синтез новых изображений, сохраняющих идентичность указанного субъекта при выполнении текстовых инструкций. Существующие подходы часто кодируют текст и эталонные изображения раздельно, что ограничивает способности к кросс-модальному рассуждению и приводит к артефактам копирования-вставки. Недавние фреймворки, связывающие мультимодальные модели и диффузионные модели, улучшают следование инструкциям, но в значительной степени игнорируют сохранение идентичности. Для преодоления этих ограничений мы обуславливаем диффузионные модели мультимодальными большими языковыми моделями (MLLM), которые совместно кодируют текст и эталонные изображения, и дополняем их VAE-основанным обусловливанием идентичности. Разработан новый модуль двухуровневой агрегации (DLA) для агрегации многоуровневых признаков MLLM с целью оптимального обусловливания, а также применяется многоэтапная стратегия шумоподавления для постепенного балансирования семантической информации от MLLM и тонкодетальной идентичности от VAE в процессе инференса. Обширные эксперименты демонстрируют, что наш подход гармонизирует мультимодальное понимание с сохранением идентичности, смягчает проблемы копирования-вставки и достигает превосходных результатов с точки зрения человеческих предпочтений в генерации изображений, управляемой заданным субъектом. Наш веб-сайт проекта доступен по адресу https://zsh2000.github.io/squeeze-mllm-subject-gen/.

English

Subject-driven image generation aims to synthesize new images that preserve the identity of the given subject while following textual instructions. Existing approaches often encode text and reference images separately. This limits cross-modal reasoning abilities and causes copy-paste artifacts. Recent frameworks that connect multimodal models and diffusion models improve instruction following, but largely overlook identity preservation. To address these limitations, we condition diffusion models on Multimodal Large Language Models (MLLMs) that jointly encode text and reference images, and augment it with VAE-based identity conditioning. A novel Dual Layer Aggregation (DLA) module is designed to aggregate multi-level MLLM features for optimal conditioning, and a multi-stage denoising strategy is applied to progressively balance the semantic information from MLLM and fine-detail identity from VAE during inference. Extensive experiments demonstrate that our approach harmonizes multimodal understanding with identity preservation, mitigates copy-paste issues, and achieves superior performance regarding human preference on subject-driven image generation. Our project website is available at https://zsh2000.github.io/squeeze-mllm-subject-gen/.