Story-Adapter: Een trainingvrij iteratief framework voor het visualiseren van lange verhalen.

Story-Adapter: A Training-free Iterative Framework for Long Story Visualization

October 8, 2024

Auteurs: Jiawei Mao, Xiaoke Huang, Yunfei Xie, Yuanqi Chang, Mude Hui, Bingjie Xu, Yuyin Zhou

cs.AI

Samenvatting

Het visualiseren van verhalen, de taak om coherente afbeeldingen te genereren op basis van een verhaal, heeft aanzienlijke vooruitgang gezien met de opkomst van tekst-naar-afbeelding modellen, met name diffusiemodellen. Het behouden van semantische consistentie, het genereren van hoogwaardige fijnmazige interacties en het waarborgen van computationele haalbaarheid blijven echter uitdagend, vooral bij langdurige verhaalvisualisatie (d.w.z. tot 100 frames). In dit werk stellen we een trainingsvrij en computationeel efficiënt raamwerk voor, genaamd Story-Adapter, om de generatieve capaciteit van lange verhalen te verbeteren. Specifiek stellen we een iteratief paradigma voor om elke gegenereerde afbeelding te verfijnen, waarbij zowel de tekstprompt als alle gegenereerde afbeeldingen van de vorige iteratie worden benut. Centraal in ons raamwerk staat een trainingsvrije globale referentie cross-attention module, die alle gegenereerde afbeeldingen van de vorige iteratie aggregeert om semantische consistentie over het hele verhaal te behouden, terwijl de computationele kosten worden geminimaliseerd met globale embeddings. Dit iteratieve proces optimaliseert het genereren van afbeeldingen progressief door herhaaldelijk tekstbeperkingen op te nemen, resulterend in meer precieze en fijnmazige interacties. Uitgebreide experimenten bevestigen de superioriteit van Story-Adapter in het verbeteren van zowel semantische consistentie als generatieve capaciteit voor fijnmazige interacties, met name in langdurige verhaalscenario's. De projectpagina en bijbehorende code zijn te vinden op https://jwmao1.github.io/storyadapter.

English

Story visualization, the task of generating coherent images based on a narrative, has seen significant advancements with the emergence of text-to-image models, particularly diffusion models. However, maintaining semantic consistency, generating high-quality fine-grained interactions, and ensuring computational feasibility remain challenging, especially in long story visualization (i.e., up to 100 frames). In this work, we propose a training-free and computationally efficient framework, termed Story-Adapter, to enhance the generative capability of long stories. Specifically, we propose an iterative paradigm to refine each generated image, leveraging both the text prompt and all generated images from the previous iteration. Central to our framework is a training-free global reference cross-attention module, which aggregates all generated images from the previous iteration to preserve semantic consistency across the entire story, while minimizing computational costs with global embeddings. This iterative process progressively optimizes image generation by repeatedly incorporating text constraints, resulting in more precise and fine-grained interactions. Extensive experiments validate the superiority of Story-Adapter in improving both semantic consistency and generative capability for fine-grained interactions, particularly in long story scenarios. The project page and associated code can be accessed via https://jwmao1.github.io/storyadapter .