DiffSensei：カスタマイズされたマンガ生成のためのマルチモーダルLLMと拡散モデルの橋渡し

DiffSensei: Bridging Multi-Modal LLMs and Diffusion Models for Customized Manga Generation

December 10, 2024

著者: Jianzong Wu, Chao Tang, Jingbo Wang, Yanhong Zeng, Xiangtai Li, Yunhai Tong

cs.AI

要旨

ストーリーの視覚化は、テキストの記述から視覚的な物語を作成するタスクであり、テキストから画像を生成するモデルによって進展しています。しかし、これらのモデルはしばしば、特に複数のキャラクターが登場するシーンにおいて、キャラクターの外見や相互作用に効果的な制御を欠いています。これらの制限に対処するために、新しいタスク「カスタマイズされたマンガ生成」を提案し、ダイナミックなマルチキャラクター制御を特に対象とした革新的なフレームワークであるDiffSenseiを紹介します。DiffSenseiは、拡散ベースの画像生成器と、テキスト互換性のあるアイデンティティアダプターとして機能するマルチモーダル大規模言語モデル（MLLM）を統合しています。当アプローチでは、キャラクターの特徴をシームレスに組み込むためにマスクされたクロスアテンションを用い、直接的なピクセル転送なしに正確なレイアウト制御を可能にしています。さらに、MLLMベースのアダプターは、パネル固有のテキストの手がかりに合わせてキャラクターの特徴を調整し、キャラクターの表情、ポーズ、アクションを柔軟に調整することができます。また、このタスクに特化した大規模データセットであるMangaZeroを紹介し、43,264ページのマンガと427,147の注釈付きパネルを含み、連続するフレーム間でさまざまなキャラクターの相互作用や動きを視覚化するのをサポートしています。包括的な実験により、DiffSenseiが既存のモデルを上回り、テキストに適応可能なキャラクターカスタマイズを実現することで、マンガ生成の重要な進展を遂げたことが示されています。プロジェクトページはhttps://jianzongwu.github.io/projects/diffsensei/です。

English

Story visualization, the task of creating visual narratives from textual descriptions, has seen progress with text-to-image generation models. However, these models often lack effective control over character appearances and interactions, particularly in multi-character scenes. To address these limitations, we propose a new task: customized manga generation and introduce DiffSensei, an innovative framework specifically designed for generating manga with dynamic multi-character control. DiffSensei integrates a diffusion-based image generator with a multimodal large language model (MLLM) that acts as a text-compatible identity adapter. Our approach employs masked cross-attention to seamlessly incorporate character features, enabling precise layout control without direct pixel transfer. Additionally, the MLLM-based adapter adjusts character features to align with panel-specific text cues, allowing flexible adjustments in character expressions, poses, and actions. We also introduce MangaZero, a large-scale dataset tailored to this task, containing 43,264 manga pages and 427,147 annotated panels, supporting the visualization of varied character interactions and movements across sequential frames. Extensive experiments demonstrate that DiffSensei outperforms existing models, marking a significant advancement in manga generation by enabling text-adaptable character customization. The project page is https://jianzongwu.github.io/projects/diffsensei/.