DiffSensei : Relier les LLMs Multi-Modaux et les Modèles de Diffusion pour la Génération Personnalisée de Manga

DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation

December 10, 2024

Auteurs: Jianzong Wu, Chao Tang, Jingbo Wang, Yanhong Zeng, Xiangtai Li, Yunhai Tong

cs.AI

Résumé

La visualisation d'histoires, la tâche consistant à créer des récits visuels à partir de descriptions textuelles, a progressé grâce aux modèles de génération de texte en image. Cependant, ces modèles manquent souvent de contrôle efficace sur les apparences et les interactions des personnages, notamment dans les scènes à plusieurs personnages. Pour remédier à ces limitations, nous proposons une nouvelle tâche : la génération de manga personnalisé et introduisons DiffSensei, un cadre innovant spécifiquement conçu pour générer des mangas avec un contrôle dynamique multi-personnages. DiffSensei intègre un générateur d'images basé sur la diffusion avec un modèle de langage multimodal large (MLLM) agissant comme un adaptateur d'identité compatible avec le texte. Notre approche utilise une attention croisée masquée pour incorporer de manière transparente les caractéristiques des personnages, permettant un contrôle précis de la mise en page sans transfert direct de pixels. De plus, l'adaptateur basé sur le MLLM ajuste les caractéristiques des personnages pour les aligner avec les indices textuels spécifiques au panneau, permettant des ajustements flexibles dans les expressions, les poses et les actions des personnages. Nous introduisons également MangaZero, un ensemble de données à grande échelle adapté à cette tâche, contenant 43 264 pages de manga et 427 147 panneaux annotés, soutenant la visualisation des interactions et des mouvements de personnages variés à travers des images séquentielles. Des expériences approfondies démontrent que DiffSensei surpasse les modèles existants, marquant une avancée significative dans la génération de manga en permettant une personnalisation des personnages adaptable au texte. La page du projet se trouve à l'adresse https://jianzongwu.github.io/projects/diffsensei/.

English

Story visualization, the task of creating visual narratives from textual descriptions, has seen progress with text-to-image generation models. However, these models often lack effective control over character appearances and interactions, particularly in multi-character scenes. To address these limitations, we propose a new task: customized manga generation and introduce DiffSensei, an innovative framework specifically designed for generating manga with dynamic multi-character control. DiffSensei integrates a diffusion-based image generator with a multimodal large language model (MLLM) that acts as a text-compatible identity adapter. Our approach employs masked cross-attention to seamlessly incorporate character features, enabling precise layout control without direct pixel transfer. Additionally, the MLLM-based adapter adjusts character features to align with panel-specific text cues, allowing flexible adjustments in character expressions, poses, and actions. We also introduce MangaZero, a large-scale dataset tailored to this task, containing 43,264 manga pages and 427,147 annotated panels, supporting the visualization of varied character interactions and movements across sequential frames. Extensive experiments demonstrate that DiffSensei outperforms existing models, marking a significant advancement in manga generation by enabling text-adaptable character customization. The project page is https://jianzongwu.github.io/projects/diffsensei/.