Adaptador de Historias: Un Marco Iterativo sin Entrenamiento para la Visualización de Historias Largas

Story-Adapter: A Training-free Iterative Framework for Long Story Visualization

October 8, 2024

Autores: Jiawei Mao, Xiaoke Huang, Yunfei Xie, Yuanqi Chang, Mude Hui, Bingjie Xu, Yuyin Zhou

cs.AI

Resumen

La visualización de historias, la tarea de generar imágenes coherentes basadas en una narrativa, ha experimentado avances significativos con la aparición de modelos de texto a imagen, en particular los modelos de difusión. Sin embargo, mantener la consistencia semántica, generar interacciones detalladas de alta calidad y garantizar la viabilidad computacional siguen siendo desafíos, especialmente en la visualización de historias largas (es decir, hasta 100 fotogramas). En este trabajo, proponemos un marco de trabajo libre de entrenamiento y computacionalmente eficiente, denominado Story-Adapter, para mejorar la capacidad generativa de historias largas. Específicamente, proponemos un paradigma iterativo para refinar cada imagen generada, aprovechando tanto la indicación de texto como todas las imágenes generadas de la iteración anterior. En el centro de nuestro marco de trabajo se encuentra un módulo de atención cruzada global de referencia sin entrenamiento, que agrega todas las imágenes generadas de la iteración anterior para preservar la consistencia semántica en toda la historia, al tiempo que minimiza los costos computacionales con incrustaciones globales. Este proceso iterativo optimiza progresivamente la generación de imágenes al incorporar repetidamente restricciones de texto, lo que resulta en interacciones más precisas y detalladas. Experimentos extensos validan la superioridad de Story-Adapter en mejorar tanto la consistencia semántica como la capacidad generativa para interacciones detalladas, especialmente en escenarios de historias largas. La página del proyecto y el código asociado se pueden acceder a través de https://jwmao1.github.io/storyadapter.

English

Story visualization, the task of generating coherent images based on a narrative, has seen significant advancements with the emergence of text-to-image models, particularly diffusion models. However, maintaining semantic consistency, generating high-quality fine-grained interactions, and ensuring computational feasibility remain challenging, especially in long story visualization (i.e., up to 100 frames). In this work, we propose a training-free and computationally efficient framework, termed Story-Adapter, to enhance the generative capability of long stories. Specifically, we propose an iterative paradigm to refine each generated image, leveraging both the text prompt and all generated images from the previous iteration. Central to our framework is a training-free global reference cross-attention module, which aggregates all generated images from the previous iteration to preserve semantic consistency across the entire story, while minimizing computational costs with global embeddings. This iterative process progressively optimizes image generation by repeatedly incorporating text constraints, resulting in more precise and fine-grained interactions. Extensive experiments validate the superiority of Story-Adapter in improving both semantic consistency and generative capability for fine-grained interactions, particularly in long story scenarios. The project page and associated code can be accessed via https://jwmao1.github.io/storyadapter .