DiffSensei: Ligando LLMs Multimodais e Modelos de Difusão para Geração Personalizada de Mangás

DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation

December 10, 2024

Autores: Jianzong Wu, Chao Tang, Jingbo Wang, Yanhong Zeng, Xiangtai Li, Yunhai Tong

cs.AI

Resumo

A visualização de histórias, a tarefa de criar narrativas visuais a partir de descrições textuais, tem visto progresso com modelos de geração de texto para imagem. No entanto, esses modelos frequentemente carecem de controle efetivo sobre as aparências e interações dos personagens, especialmente em cenas com vários personagens. Para abordar essas limitações, propomos uma nova tarefa: geração personalizada de mangá e apresentamos o DiffSensei, um framework inovador especificamente projetado para gerar mangás com controle dinâmico de múltiplos personagens. O DiffSensei integra um gerador de imagens baseado em difusão com um modelo de linguagem multimodal grande (MLLM) que atua como um adaptador de identidade compatível com texto. Nossa abordagem emprega atenção cruzada mascarada para incorporar de forma contínua as características dos personagens, permitindo controle preciso do layout sem transferência direta de pixels. Além disso, o adaptador baseado em MLLM ajusta as características dos personagens para se alinharem com pistas de texto específicas do painel, permitindo ajustes flexíveis nas expressões, poses e ações dos personagens. Também introduzimos o MangaZero, um conjunto de dados em grande escala adaptado para esta tarefa, contendo 43.264 páginas de mangá e 427.147 painéis anotados, suportando a visualização de interações e movimentos variados dos personagens através de quadros sequenciais. Experimentos extensivos demonstram que o DiffSensei supera os modelos existentes, marcando um avanço significativo na geração de mangá ao permitir a personalização de personagens adaptável ao texto. A página do projeto é https://jianzongwu.github.io/projects/diffsensei/.

English

Story visualization, the task of creating visual narratives from textual descriptions, has seen progress with text-to-image generation models. However, these models often lack effective control over character appearances and interactions, particularly in multi-character scenes. To address these limitations, we propose a new task: customized manga generation and introduce DiffSensei, an innovative framework specifically designed for generating manga with dynamic multi-character control. DiffSensei integrates a diffusion-based image generator with a multimodal large language model (MLLM) that acts as a text-compatible identity adapter. Our approach employs masked cross-attention to seamlessly incorporate character features, enabling precise layout control without direct pixel transfer. Additionally, the MLLM-based adapter adjusts character features to align with panel-specific text cues, allowing flexible adjustments in character expressions, poses, and actions. We also introduce MangaZero, a large-scale dataset tailored to this task, containing 43,264 manga pages and 427,147 annotated panels, supporting the visualization of varied character interactions and movements across sequential frames. Extensive experiments demonstrate that DiffSensei outperforms existing models, marking a significant advancement in manga generation by enabling text-adaptable character customization. The project page is https://jianzongwu.github.io/projects/diffsensei/.