Эхо-форсинг: Фреймворк памяти сцены для генерации интерактивных длинных видео

Аннотация

Авторегрессионные модели диффузии видео обеспечивают открытую генерацию за счет локального внимания и кэширования KV. Однако существующие методы оптимизации длинных видео без обучения в основном ориентированы на стабильное расширение при одном запросе, что затрудняет обработку интерактивных сценариев, включающих переключение запросов, забывание старых сцен и воспроизведение исторических сцен. Мы определяем основное узкое место как функциональную запутанность исторических KV-состояний: стабильные якоря и недавняя динамика обрабатываются одной и той же политикой кэширования, что приводит к загрязнению устаревшим фоном, замедленной реакции на новые запросы и потере долговременной памяти. Для решения этой проблемы мы предлагаем Echo-Forcing — фреймворк памяти сцен без обучения, специально разработанный для интерактивной генерации длинных видео, с тремя основными механизмами: (1) иерархическая временная память, которая разделяет стабильные якоря, сжатую историю и недавние окна при относительном RoPE; (2) кадры воспроизведения сцен, которые сжимают исторические сцены в пространственно структурированные KV-представления для поддержки долгосрочного воспроизведения; и (3) разностное затухание памяти, которое адаптивно забывает конфликтующие токены в соответствии с расхождением между старыми и новыми сценами. На основе этих разработок Echo-Forcing единообразно поддерживает плавные переходы, жесткие склейки и воспроизведение сцен на большом расстоянии при ограниченном бюджете кэша. Обширные оценки на VBench-Long дополнительно показывают, что Echo-Forcing достигает наилучшей общей производительности как в задачах генерации длинных видео, так и в интерактивной генерации видео. Наш код опубликован по адресу https://github.com/mingqiangWu/Echo-Forcing.

English

Autoregressive video diffusion models enable open-ended generation through local attention and KV caching. However, existing training-free long-video optimization methods mainly focus on stable extension under a single prompt, making them difficult to handle interactive scenarios involving prompt switching, old scene forgetting, and historical scene recall. We identify the core bottleneck as the functional entanglement of historical KV states: stable anchors and recent dynamics are handled by the same cache policy, leading to outdated background contamination, delayed response to new prompts, and loss of long-range memory. To address this issue, we propose Echo-Forcing, a training-free scene memory framework specifically designed for interactive long video generation with three core mechanisms: (1) Hierarchical Temporal Memory, which decouples stable anchors, compressed history, and recent windows under relative RoPE; (2) Scene Recall Frames, which compresses historical scenes into spatially structured KV representations to support long-term recall; and (3) Difference-aware Memory Decay, which adaptively forgets conflicting tokens according to the discrepancy between old and new scenes. Based on these designs, Echo-Forcing uniformly supports smooth transitions, hard cuts, and long-range scene recall under a bounded cache budget. Extensive evaluations on VBench-Long further demonstrate that Echo-Forcing achieves the best overall performance in both long-video generation and interactive video generation settings. Our code is released in https://github.com/mingqiangWu/Echo-Forcing