Adaptateur d'histoire : un cadre itératif sans entraînement pour la visualisation de longues histoires

Story-Adapter: A Training-free Iterative Framework for Long Story Visualization

October 8, 2024

Auteurs: Jiawei Mao, Xiaoke Huang, Yunfei Xie, Yuanqi Chang, Mude Hui, Bingjie Xu, Yuyin Zhou

cs.AI

Résumé

La visualisation d'histoires, la tâche de générer des images cohérentes basées sur un récit, a connu des avancées significatives avec l'émergence de modèles texte-image, en particulier les modèles de diffusion. Cependant, maintenir la cohérence sémantique, générer des interactions de haute qualité et assurer la faisabilité computationnelle restent des défis, en particulier dans la visualisation d'histoires longues (c'est-à-dire jusqu'à 100 images). Dans ce travail, nous proposons un cadre sans entraînement et efficace sur le plan computationnel, appelé Story-Adapter, pour améliorer la capacité générative des histoires longues. Plus précisément, nous proposons un paradigme itératif pour affiner chaque image générée, en exploitant à la fois le texte d'incitation et toutes les images générées de l'itération précédente. Au cœur de notre cadre se trouve un module d'attention croisée globale sans entraînement, qui agrège toutes les images générées de l'itération précédente pour préserver la cohérence sémantique sur l'ensemble de l'histoire, tout en minimisant les coûts computationnels avec des plongements globaux. Ce processus itératif optimise progressivement la génération d'images en incorporant à plusieurs reprises des contraintes textuelles, ce qui se traduit par des interactions plus précises et plus détaillées. Des expériences approfondies valident la supériorité de Story-Adapter dans l'amélioration à la fois de la cohérence sémantique et de la capacité générative pour des interactions plus détaillées, en particulier dans des scénarios d'histoires longues. La page du projet et le code associé sont accessibles via https://jwmao1.github.io/storyadapter.

English

Story visualization, the task of generating coherent images based on a narrative, has seen significant advancements with the emergence of text-to-image models, particularly diffusion models. However, maintaining semantic consistency, generating high-quality fine-grained interactions, and ensuring computational feasibility remain challenging, especially in long story visualization (i.e., up to 100 frames). In this work, we propose a training-free and computationally efficient framework, termed Story-Adapter, to enhance the generative capability of long stories. Specifically, we propose an iterative paradigm to refine each generated image, leveraging both the text prompt and all generated images from the previous iteration. Central to our framework is a training-free global reference cross-attention module, which aggregates all generated images from the previous iteration to preserve semantic consistency across the entire story, while minimizing computational costs with global embeddings. This iterative process progressively optimizes image generation by repeatedly incorporating text constraints, resulting in more precise and fine-grained interactions. Extensive experiments validate the superiority of Story-Adapter in improving both semantic consistency and generative capability for fine-grained interactions, particularly in long story scenarios. The project page and associated code can be accessed via https://jwmao1.github.io/storyadapter .