DiffSensei: Conectando LLMs Multimodales y Modelos de Difusión para la Generación Personalizada de Manga

DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation

December 10, 2024

Autores: Jianzong Wu, Chao Tang, Jingbo Wang, Yanhong Zeng, Xiangtai Li, Yunhai Tong

cs.AI

Resumen

La visualización de historias, la tarea de crear narrativas visuales a partir de descripciones textuales, ha avanzado con modelos de generación de texto a imagen. Sin embargo, estos modelos a menudo carecen de un control efectivo sobre la apariencia y las interacciones de los personajes, especialmente en escenas con varios personajes. Para abordar estas limitaciones, proponemos una nueva tarea: la generación personalizada de manga e introducimos DiffSensei, un marco innovador diseñado específicamente para generar manga con un control dinámico de múltiples personajes. DiffSensei integra un generador de imágenes basado en difusión con un modelo de lenguaje multimodal grande (MLLM) que actúa como un adaptador de identidad compatible con el texto. Nuestro enfoque emplea atención cruzada enmascarada para incorporar de manera fluida las características de los personajes, lo que permite un control preciso del diseño sin transferencia directa de píxeles. Además, el adaptador basado en MLLM ajusta las características de los personajes para alinearse con las pistas de texto específicas del panel, lo que permite ajustes flexibles en las expresiones, poses y acciones de los personajes. También presentamos MangaZero, un conjunto de datos a gran escala adaptado a esta tarea, que contiene 43,264 páginas de manga y 427,147 paneles anotados, que respaldan la visualización de diversas interacciones y movimientos de personajes a lo largo de cuadros secuenciales. Experimentos extensos demuestran que DiffSensei supera a los modelos existentes, marcando un avance significativo en la generación de manga al permitir la personalización de personajes adaptable al texto. La página del proyecto es https://jianzongwu.github.io/projects/diffsensei/.

English

Story visualization, the task of creating visual narratives from textual descriptions, has seen progress with text-to-image generation models. However, these models often lack effective control over character appearances and interactions, particularly in multi-character scenes. To address these limitations, we propose a new task: customized manga generation and introduce DiffSensei, an innovative framework specifically designed for generating manga with dynamic multi-character control. DiffSensei integrates a diffusion-based image generator with a multimodal large language model (MLLM) that acts as a text-compatible identity adapter. Our approach employs masked cross-attention to seamlessly incorporate character features, enabling precise layout control without direct pixel transfer. Additionally, the MLLM-based adapter adjusts character features to align with panel-specific text cues, allowing flexible adjustments in character expressions, poses, and actions. We also introduce MangaZero, a large-scale dataset tailored to this task, containing 43,264 manga pages and 427,147 annotated panels, supporting the visualization of varied character interactions and movements across sequential frames. Extensive experiments demonstrate that DiffSensei outperforms existing models, marking a significant advancement in manga generation by enabling text-adaptable character customization. The project page is https://jianzongwu.github.io/projects/diffsensei/.