Echo-Forcing: Um Framework de Memória de Cena para Geração Interativa de Vídeos Longos

Resumo

Modelos de difusão de vídeo autorregressivos permitem geração aberta por meio de atenção local e cache KV. No entanto, os métodos existentes de otimização de vídeo longo sem treinamento focam principalmente na extensão estável sob um único prompt, o que dificulta o tratamento de cenários interativos envolvendo troca de prompt, esquecimento de cenas antigas e recall de cenas históricas. Identificamos o gargalo central como o emaranhamento funcional dos estados históricos de KV: âncoras estáveis e dinâmicas recentes são gerenciadas pela mesma política de cache, levando à contaminação por fundo desatualizado, resposta atrasada a novos prompts e perda de memória de longo alcance. Para resolver esse problema, propomos o Echo-Forcing, uma estrutura de memória de cena sem treinamento, projetada especificamente para geração de vídeo longo interativa, com três mecanismos principais: (1) Memória Temporal Hierárquica, que desacopla âncoras estáveis, histórico comprimido e janelas recentes sob RoPE relativa; (2) Quadros de Recall de Cena, que comprimem cenas históricas em representações KV espacialmente estruturadas para suportar recall de longo prazo; e (3) Decaimento de Memória Sensível à Diferença, que esquece adaptativamente tokens conflitantes de acordo com a discrepância entre cenas antigas e novas. Com base nesses projetos, o Echo-Forcing suporta uniformemente transições suaves, cortes abruptos e recall de cena de longo alcance sob um orçamento de cache limitado. Avaliações extensas no VBench-Long demonstram ainda que o Echo-Forcing alcança o melhor desempenho geral tanto em configurações de geração de vídeo longo quanto em geração de vídeo interativa. Nosso código está disponível em https://github.com/mingqiangWu/Echo-Forcing.

English

Autoregressive video diffusion models enable open-ended generation through local attention and KV caching. However, existing training-free long-video optimization methods mainly focus on stable extension under a single prompt, making them difficult to handle interactive scenarios involving prompt switching, old scene forgetting, and historical scene recall. We identify the core bottleneck as the functional entanglement of historical KV states: stable anchors and recent dynamics are handled by the same cache policy, leading to outdated background contamination, delayed response to new prompts, and loss of long-range memory. To address this issue, we propose Echo-Forcing, a training-free scene memory framework specifically designed for interactive long video generation with three core mechanisms: (1) Hierarchical Temporal Memory, which decouples stable anchors, compressed history, and recent windows under relative RoPE; (2) Scene Recall Frames, which compresses historical scenes into spatially structured KV representations to support long-term recall; and (3) Difference-aware Memory Decay, which adaptively forgets conflicting tokens according to the discrepancy between old and new scenes. Based on these designs, Echo-Forcing uniformly supports smooth transitions, hard cuts, and long-range scene recall under a bounded cache budget. Extensive evaluations on VBench-Long further demonstrate that Echo-Forcing achieves the best overall performance in both long-video generation and interactive video generation settings. Our code is released in https://github.com/mingqiangWu/Echo-Forcing