Story-Adapter: Un Framework Iterativo Senza Addestramento per la Visualizzazione di Lunghe Storie

Story-Adapter: A Training-free Iterative Framework for Long Story Visualization

October 8, 2024

Autori: Jiawei Mao, Xiaoke Huang, Yunfei Xie, Yuanqi Chang, Mude Hui, Bingjie Xu, Yuyin Zhou

cs.AI

Abstract

La visualizzazione di storie, il compito di generare immagini coerenti basate su una narrazione, ha visto significativi progressi con l'emergere dei modelli testo-immagine, in particolare dei modelli a diffusione. Tuttavia, mantenere coerenza semantica, generare interazioni di alta qualità dettagliate e garantire fattibilità computazionale rimangono sfide, specialmente nella visualizzazione di storie lunghe (cioè, fino a 100 fotogrammi). In questo lavoro, proponiamo un framework efficiente dal punto di vista computazionale e privo di addestramento, denominato Story-Adapter, per potenziare la capacità generativa di storie lunghe. In particolare, proponiamo un paradigma iterativo per perfezionare ciascuna immagine generata, sfruttando sia il prompt di testo che tutte le immagini generate dall'iterazione precedente. Al centro del nostro framework c'è un modulo di cross-attenzione globale di riferimento senza addestramento, che aggrega tutte le immagini generate dall'iterazione precedente per preservare la coerenza semantica lungo l'intera storia, riducendo al minimo i costi computazionali con embedding globali. Questo processo iterativo ottimizza progressivamente la generazione di immagini incorporando ripetutamente vincoli di testo, risultando in interazioni più precise e dettagliate. Estesi esperimenti convalidano la superiorità di Story-Adapter nel migliorare sia la coerenza semantica che la capacità generativa per interazioni dettagliate, in particolare in scenari di storie lunghe. La pagina del progetto e il codice associato sono accessibili tramite https://jwmao1.github.io/storyadapter.

English

Story visualization, the task of generating coherent images based on a narrative, has seen significant advancements with the emergence of text-to-image models, particularly diffusion models. However, maintaining semantic consistency, generating high-quality fine-grained interactions, and ensuring computational feasibility remain challenging, especially in long story visualization (i.e., up to 100 frames). In this work, we propose a training-free and computationally efficient framework, termed Story-Adapter, to enhance the generative capability of long stories. Specifically, we propose an iterative paradigm to refine each generated image, leveraging both the text prompt and all generated images from the previous iteration. Central to our framework is a training-free global reference cross-attention module, which aggregates all generated images from the previous iteration to preserve semantic consistency across the entire story, while minimizing computational costs with global embeddings. This iterative process progressively optimizes image generation by repeatedly incorporating text constraints, resulting in more precise and fine-grained interactions. Extensive experiments validate the superiority of Story-Adapter in improving both semantic consistency and generative capability for fine-grained interactions, particularly in long story scenarios. The project page and associated code can be accessed via https://jwmao1.github.io/storyadapter .