DiffSensei: Het verbinden van Multi-Modale LLM's en Diffusie Modellen voor Aangepaste Manga Generatie

DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation

December 10, 2024

Auteurs: Jianzong Wu, Chao Tang, Jingbo Wang, Yanhong Zeng, Xiangtai Li, Yunhai Tong

cs.AI

Samenvatting

Het visualiseren van verhalen, de taak om visuele vertellingen te creëren vanuit tekstuele beschrijvingen, heeft vooruitgang geboekt met modellen voor tekst-naar-afbeelding generatie. Echter, deze modellen missen vaak effectieve controle over karakter verschijningen en interacties, met name in scènes met meerdere karakters. Om deze beperkingen aan te pakken, stellen we een nieuwe taak voor: aangepaste manga generatie, en introduceren we DiffSensei, een innovatief framework specifiek ontworpen voor het genereren van manga met dynamische multi-karakter controle. DiffSensei integreert een op diffusie gebaseerde beeldgenerator met een multimodaal groot taalmodel (MLLM) dat fungeert als een tekst-compatibele identiteitsadapter. Onze aanpak maakt gebruik van gemaskerde kruislingse aandacht om karaktereigenschappen naadloos op te nemen, waardoor nauwkeurige lay-out controle mogelijk is zonder directe pixeloverdracht. Daarnaast past de op MLLM gebaseerde adapter karaktereigenschappen aan om in lijn te zijn met paneel-specifieke tekstaanwijzingen, waardoor flexibele aanpassingen in karakteruitdrukkingen, poses en acties mogelijk zijn. We introduceren ook MangaZero, een grootschalige dataset op maat gemaakt voor deze taak, met 43.264 manga pagina's en 427.147 geannoteerde panelen, ter ondersteuning van de visualisatie van gevarieerde karakterinteracties en bewegingen over opeenvolgende frames. Uitgebreide experimenten tonen aan dat DiffSensei bestaande modellen overtreft, wat een significante vooruitgang markeert in manga generatie door tekst-aanpasbare karakteraanpassingen mogelijk te maken. De projectpagina is https://jianzongwu.github.io/projects/diffsensei/.

English

Story visualization, the task of creating visual narratives from textual descriptions, has seen progress with text-to-image generation models. However, these models often lack effective control over character appearances and interactions, particularly in multi-character scenes. To address these limitations, we propose a new task: customized manga generation and introduce DiffSensei, an innovative framework specifically designed for generating manga with dynamic multi-character control. DiffSensei integrates a diffusion-based image generator with a multimodal large language model (MLLM) that acts as a text-compatible identity adapter. Our approach employs masked cross-attention to seamlessly incorporate character features, enabling precise layout control without direct pixel transfer. Additionally, the MLLM-based adapter adjusts character features to align with panel-specific text cues, allowing flexible adjustments in character expressions, poses, and actions. We also introduce MangaZero, a large-scale dataset tailored to this task, containing 43,264 manga pages and 427,147 annotated panels, supporting the visualization of varied character interactions and movements across sequential frames. Extensive experiments demonstrate that DiffSensei outperforms existing models, marking a significant advancement in manga generation by enabling text-adaptable character customization. The project page is https://jianzongwu.github.io/projects/diffsensei/.