Escalonamento Linear de VLMs de Vídeo para Compreensão de Vídeos Longos

Resumo

Os modelos de vídeo visão-linguagem (VLMs) são cada vez mais utilizados em contextos de longa duração e streaming, mas a maioria dos codificadores de vídeo ainda depende de autoatenção espaço-temporal, fazendo com que o custo computacional e a latência cresçam quadraticamente com o número de quadros. Métodos de eficiência existentes melhoram a escalabilidade, mas frequentemente perdem precisão em relação à autoatenção completa, por exemplo, por meio de descarte agressivo de quadros/tokens ou aproximações grosseiras de atenção. Apresentamos o StateKV, um método em tempo de inferência que adapta VLMs pré-treinados para vídeos longos a um preenchimento de vídeo em tempo linear, transportando o contexto entre quadros em um estado recorrente de capacidade fixa e baseado em importância, combinado com um segundo cache completo por quadro usado para decodificação. Em três benchmarks de vídeos longos e sete modelos de três famílias e múltiplas escalas, o StateKV permanece próximo da autoatenção completa e supera consistentemente as aproximações de streaming dominantes baseadas em janela deslizante/recência, sem necessidade de ajuste fino ou alterações arquiteturais. O StateKV também reduz o custo de preenchimento de vídeo medido em FLOPs, permitindo maior precisão com um orçamento computacional fixo ao executar modelos maiores. Esses resultados sugerem um passo prático em direção à compreensão escalável de vídeos longos.

English

Video vision-language models (VLMs) are increasingly used in long-horizon and streaming settings, yet most video encoders still rely on spatiotemporal self-attention, causing compute and latency to grow quadratically with the number of frames. Existing efficiency methods improve scalability but often lose accuracy relative to full self-attention, for example through aggressive frame/token dropping or coarse attention approximations. We introduce StateKV, an inference-time method that adapts pretrained long-video VLMs to linear-time video prefill by carrying cross-frame context in a fixed-capacity, importance-based recurrent state, paired with a second full per-frame cache used for decoding. Across three long-video benchmarks and seven models spanning three families and multiple scales, StateKV remains close to full self-attention and consistently outperforms dominant sliding-window / recency-based streaming approximations, without fine-tuning or architectural changes. StateKV also reduces video-prefill cost measured FLOPs, enabling stronger accuracy at a fixed compute budget by running larger models. These results suggest a practical step toward scalable long-video understanding.