Echo-Forcing : un cadre de mémoire de scène pour la génération interactive de vidéos longues

Résumé

Les modèles de diffusion vidéo autorégressifs permettent une génération ouverte grâce à l'attention locale et à la mise en cache KV. Cependant, les méthodes d'optimisation de vidéos longues sans entraînement existantes se concentrent principalement sur l'extension stable sous une seule invite, ce qui les rend difficiles à appliquer aux scénarios interactifs impliquant des changements d'invite, l'oubli de scènes anciennes et le rappel de scènes historiques. Nous identifions le goulot d'étranglement principal comme l'enchevêtrement fonctionnel des états KV historiques : les ancres stables et les dynamiques récentes sont gérées par la même politique de cache, entraînant une contamination par l'arrière-plan obsolète, une réponse retardée aux nouvelles invites et une perte de mémoire à long terme. Pour résoudre ce problème, nous proposons Echo-Forcing, un cadre de mémoire de scène sans entraînement spécifiquement conçu pour la génération interactive de vidéos longues, avec trois mécanismes principaux : (1) Mémoire Temporelle Hiérarchique, qui désolidarise les ancres stables, l'historique compressé et les fenêtres récentes sous RoPE relatif ; (2) Images de Rappel de Scène, qui compriment les scènes historiques en représentations KV spatialement structurées pour soutenir le rappel à long terme ; et (3) Déclin de Mémoire Différentiel, qui oublie adaptativement les jetons conflictuels en fonction de l'écart entre les scènes anciennes et nouvelles. Basé sur ces conceptions, Echo-Forcing supporte uniformément les transitions douces, les coupures franches et le rappel de scène à longue portée sous un budget de cache limité. Des évaluations approfondies sur VBench-Long démontrent en outre qu'Echo-Forcing atteint la meilleure performance globale dans les contextes de génération de vidéos longues et de génération de vidéos interactives. Notre code est publié sur https://github.com/mingqiangWu/Echo-Forcing.

English

Autoregressive video diffusion models enable open-ended generation through local attention and KV caching. However, existing training-free long-video optimization methods mainly focus on stable extension under a single prompt, making them difficult to handle interactive scenarios involving prompt switching, old scene forgetting, and historical scene recall. We identify the core bottleneck as the functional entanglement of historical KV states: stable anchors and recent dynamics are handled by the same cache policy, leading to outdated background contamination, delayed response to new prompts, and loss of long-range memory. To address this issue, we propose Echo-Forcing, a training-free scene memory framework specifically designed for interactive long video generation with three core mechanisms: (1) Hierarchical Temporal Memory, which decouples stable anchors, compressed history, and recent windows under relative RoPE; (2) Scene Recall Frames, which compresses historical scenes into spatially structured KV representations to support long-term recall; and (3) Difference-aware Memory Decay, which adaptively forgets conflicting tokens according to the discrepancy between old and new scenes. Based on these designs, Echo-Forcing uniformly supports smooth transitions, hard cuts, and long-range scene recall under a bounded cache budget. Extensive evaluations on VBench-Long further demonstrate that Echo-Forcing achieves the best overall performance in both long-video generation and interactive video generation settings. Our code is released in https://github.com/mingqiangWu/Echo-Forcing