Story-Adapter: 長いストーリーの視覚化のためのトレーニング不要の反復フレームワーク

Story-Adapter: A Training-free Iterative Framework for Long Story Visualization

October 8, 2024

著者: Jiawei Mao, Xiaoke Huang, Yunfei Xie, Yuanqi Chang, Mude Hui, Bingjie Xu, Yuyin Zhou

cs.AI

要旨

物語の視覚化は、物語に基づいて一貫した画像を生成するタスクであり、特に拡散モデルと呼ばれるテキストから画像へのモデルの出現により、大きな進歩が見られています。ただし、意味の一貫性を維持し、高品質な細かい相互作用を生成し、計算上の実現可能性を確保することは、特に長い物語の視覚化（つまり、最大100フレーム）においては依然として課題が残っています。本研究では、長い物語の生成能力を向上させるためのトレーニング不要で計算効率の良いフレームワークであるStory-Adapterを提案します。具体的には、各生成された画像を洗練する反復パラダイムを提案し、前の反復からのすべての生成された画像とテキストプロンプトの両方を活用します。当フレームワークの中心には、トレーニング不要のグローバルなリファレンスクロスアテンションモジュールがあり、前の反復からのすべての生成された画像を集約して物語全体で意味の一貫性を維持し、グローバルな埋め込みを使用して計算コストを最小限に抑えます。この反復的なプロセスにより、画像生成を進行的に最適化し、テキストの制約を繰り返し取り入れることで、より正確で細かい相互作用が生じます。包括的な実験により、Story-Adapterが特に長い物語のシナリオにおいて、意味の一貫性と生成能力の両方を向上させることが確認されました。プロジェクトページと関連するコードは、https://jwmao1.github.io/storyadapter からアクセスできます。

English

Story visualization, the task of generating coherent images based on a narrative, has seen significant advancements with the emergence of text-to-image models, particularly diffusion models. However, maintaining semantic consistency, generating high-quality fine-grained interactions, and ensuring computational feasibility remain challenging, especially in long story visualization (i.e., up to 100 frames). In this work, we propose a training-free and computationally efficient framework, termed Story-Adapter, to enhance the generative capability of long stories. Specifically, we propose an iterative paradigm to refine each generated image, leveraging both the text prompt and all generated images from the previous iteration. Central to our framework is a training-free global reference cross-attention module, which aggregates all generated images from the previous iteration to preserve semantic consistency across the entire story, while minimizing computational costs with global embeddings. This iterative process progressively optimizes image generation by repeatedly incorporating text constraints, resulting in more precise and fine-grained interactions. Extensive experiments validate the superiority of Story-Adapter in improving both semantic consistency and generative capability for fine-grained interactions, particularly in long story scenarios. The project page and associated code can be accessed via https://jwmao1.github.io/storyadapter .