Story-Adapter: Итерационная рамка без обучения для визуализации длинных историй

Story-Adapter: A Training-free Iterative Framework for Long Story Visualization

October 8, 2024

Авторы: Jiawei Mao, Xiaoke Huang, Yunfei Xie, Yuanqi Chang, Mude Hui, Bingjie Xu, Yuyin Zhou

cs.AI

Аннотация

Визуализация историй, задача генерации согласованных изображений на основе повествования, заметно продвинулась с появлением моделей текст-в-изображение, в частности, моделей диффузии. Однако сохранение семантической последовательности, генерация высококачественных детализированных взаимодействий и обеспечение вычислительной осуществимости остаются сложными задачами, особенно в длинной визуализации историй (до 100 кадров). В данной работе мы предлагаем обучающийся и вычислительно эффективный каркас, названный Story-Adapter, для улучшения генеративной способности длинных историй. Конкретно, мы предлагаем итеративную парадигму для усовершенствования каждого сгенерированного изображения, используя как текстовое подсказывание, так и все сгенерированные изображения из предыдущей итерации. Основой нашего каркаса является обучающийся без обучения глобальный модуль кросс-внимания к ссылкам, который агрегирует все сгенерированные изображения из предыдущей итерации для сохранения семантической последовательности по всей истории, минимизируя при этом вычислительные затраты с глобальными встраиваниями. Этот итеративный процесс постепенно оптимизирует генерацию изображений путем многократного включения текстовых ограничений, что приводит к более точным и детализированным взаимодействиям. Обширные эксперименты подтверждают превосходство Story-Adapter в улучшении как семантической последовательности, так и генеративной способности для детализированных взаимодействий, особенно в длинных сценариях историй. Страница проекта и связанный код доступны по ссылке https://jwmao1.github.io/storyadapter.

English

Story visualization, the task of generating coherent images based on a narrative, has seen significant advancements with the emergence of text-to-image models, particularly diffusion models. However, maintaining semantic consistency, generating high-quality fine-grained interactions, and ensuring computational feasibility remain challenging, especially in long story visualization (i.e., up to 100 frames). In this work, we propose a training-free and computationally efficient framework, termed Story-Adapter, to enhance the generative capability of long stories. Specifically, we propose an iterative paradigm to refine each generated image, leveraging both the text prompt and all generated images from the previous iteration. Central to our framework is a training-free global reference cross-attention module, which aggregates all generated images from the previous iteration to preserve semantic consistency across the entire story, while minimizing computational costs with global embeddings. This iterative process progressively optimizes image generation by repeatedly incorporating text constraints, resulting in more precise and fine-grained interactions. Extensive experiments validate the superiority of Story-Adapter in improving both semantic consistency and generative capability for fine-grained interactions, particularly in long story scenarios. The project page and associated code can be accessed via https://jwmao1.github.io/storyadapter .