Story-Adapter: Ein trainingsfreies iteratives Framework für die Visualisierung langer Geschichten

Story-Adapter: A Training-free Iterative Framework for Long Story Visualization

October 8, 2024

Autoren: Jiawei Mao, Xiaoke Huang, Yunfei Xie, Yuanqi Chang, Mude Hui, Bingjie Xu, Yuyin Zhou

cs.AI

Zusammenfassung

Die Visualisierung von Geschichten, die Aufgabe, kohärente Bilder basierend auf einer Erzählung zu generieren, hat mit dem Aufkommen von Text-zu-Bild-Modellen, insbesondere Diffusionsmodellen, bedeutende Fortschritte gemacht. Die Aufrechterhaltung semantischer Konsistenz, die Generierung hochwertiger feingranularer Interaktionen und die Gewährleistung der Rechenfähigkeit bleiben jedoch herausfordernd, insbesondere bei der Visualisierung langer Geschichten (d.h. bis zu 100 Frames). In dieser Arbeit schlagen wir ein trainingsfreies und rechnerisch effizientes Framework namens Story-Adapter vor, um die generativen Fähigkeiten langer Geschichten zu verbessern. Speziell schlagen wir ein iteratives Paradigma vor, um jedes generierte Bild zu verfeinern, wobei sowohl der Textprompt als auch alle generierten Bilder aus der vorherigen Iteration genutzt werden. Zentral für unser Framework ist ein trainingsfreies globales Referenz-Cross-Attention-Modul, das alle generierten Bilder aus der vorherigen Iteration aggregiert, um semantische Konsistenz über die gesamte Geschichte hinweg zu bewahren, und gleichzeitig die Rechenkosten mit globalen Einbettungen minimiert. Dieser iterative Prozess optimiert die Bildgenerierung schrittweise, indem er wiederholt Textbeschränkungen einbezieht, was zu präziseren und feingranularen Interaktionen führt. Umfangreiche Experimente bestätigen die Überlegenheit des Story-Adapters bei der Verbesserung sowohl der semantischen Konsistenz als auch der generativen Fähigkeiten für feingranulare Interaktionen, insbesondere in langen Geschichtsszenarien. Die Projektseite und der zugehörige Code sind unter https://jwmao1.github.io/storyadapter abrufbar.

English

Story visualization, the task of generating coherent images based on a narrative, has seen significant advancements with the emergence of text-to-image models, particularly diffusion models. However, maintaining semantic consistency, generating high-quality fine-grained interactions, and ensuring computational feasibility remain challenging, especially in long story visualization (i.e., up to 100 frames). In this work, we propose a training-free and computationally efficient framework, termed Story-Adapter, to enhance the generative capability of long stories. Specifically, we propose an iterative paradigm to refine each generated image, leveraging both the text prompt and all generated images from the previous iteration. Central to our framework is a training-free global reference cross-attention module, which aggregates all generated images from the previous iteration to preserve semantic consistency across the entire story, while minimizing computational costs with global embeddings. This iterative process progressively optimizes image generation by repeatedly incorporating text constraints, resulting in more precise and fine-grained interactions. Extensive experiments validate the superiority of Story-Adapter in improving both semantic consistency and generative capability for fine-grained interactions, particularly in long story scenarios. The project page and associated code can be accessed via https://jwmao1.github.io/storyadapter .