DiffSensei: Связывание мультимодальных LLM и моделей диффузии для Персонализированного генерирования манги

DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation

December 10, 2024

Авторы: Jianzong Wu, Chao Tang, Jingbo Wang, Yanhong Zeng, Xiangtai Li, Yunhai Tong

cs.AI

Аннотация

Визуализация историй, задача создания визуальных повествований по текстовым описаниям, продвинулась благодаря моделям генерации изображений по тексту. Однако эти модели часто не обладают эффективным контролем над внешностью персонажей и их взаимодействиями, особенно в сценах с несколькими персонажами. Для решения этих ограничений мы предлагаем новую задачу: генерацию персонализированных манга и представляем DiffSensei, инновационную структуру, специально разработанную для создания манги с динамическим контролем над несколькими персонажами. DiffSensei интегрирует генератор изображений на основе диффузии с мультимодальной крупной языковой моделью (MLLM), действующей как адаптер идентичности, совместимый с текстом. Наш подход использует маскированное кросс-внимание для плавного включения характеристик персонажей, обеспечивая точный контроль макета без прямой передачи пикселей. Кроме того, адаптер на основе MLLM корректирует характеристики персонажей, чтобы соответствовать панельным текстовым подсказкам, позволяя гибкие корректировки в выражениях, позах и действиях персонажей. Мы также представляем MangaZero, крупномасштабный набор данных, адаптированный для этой задачи, содержащий 43 264 страницы манги и 427 147 аннотированных панелей, поддерживающий визуализацию разнообразных взаимодействий персонажей и движений в последовательных кадрах. Обширные эксперименты показывают, что DiffSensei превосходит существующие модели, являясь значительным прорывом в генерации манги за счет возможности персонализации персонажей, адаптируемой к тексту. Страница проекта находится по адресу https://jianzongwu.github.io/projects/diffsensei/.

English

Story visualization, the task of creating visual narratives from textual descriptions, has seen progress with text-to-image generation models. However, these models often lack effective control over character appearances and interactions, particularly in multi-character scenes. To address these limitations, we propose a new task: customized manga generation and introduce DiffSensei, an innovative framework specifically designed for generating manga with dynamic multi-character control. DiffSensei integrates a diffusion-based image generator with a multimodal large language model (MLLM) that acts as a text-compatible identity adapter. Our approach employs masked cross-attention to seamlessly incorporate character features, enabling precise layout control without direct pixel transfer. Additionally, the MLLM-based adapter adjusts character features to align with panel-specific text cues, allowing flexible adjustments in character expressions, poses, and actions. We also introduce MangaZero, a large-scale dataset tailored to this task, containing 43,264 manga pages and 427,147 annotated panels, supporting the visualization of varied character interactions and movements across sequential frames. Extensive experiments demonstrate that DiffSensei outperforms existing models, marking a significant advancement in manga generation by enabling text-adaptable character customization. The project page is https://jianzongwu.github.io/projects/diffsensei/.