HERMES: Cache KV como Memória Hierárquica para Compreensão Eficiente de Vídeo em Streaming
HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding
January 21, 2026
Autores: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu
cs.AI
Resumo
Os recentes avanços nos Modelos de Linguagem Multimodais de Grande Escala (MLLMs) demonstraram uma melhoria significativa na compreensão de vídeos offline. No entanto, estender essas capacidades para entradas de vídeo em *streaming* continua a ser um desafio, uma vez que os modelos existentes lutam para manter simultaneamente um desempenho de compreensão estável, respostas em tempo real e uma baixa sobrecarga de memória da GPU. Para enfrentar este desafio, propomos o HERMES, uma nova arquitetura sem necessidade de treino para a compreensão precisa e em tempo real de fluxos de vídeo. Com base numa investigação mecanicista da atenção, conceptualizamos a *cache* de Chaves-Valores (KV) como uma estrutura de memória hierárquica que encapsula informações de vídeo em múltiplas granularidades. Durante a inferência, o HERMES reutiliza uma *cache* KV compacta, permitindo uma compreensão eficiente de *streaming* sob restrições de recursos. Notavelmente, o HERMES não requer cálculos auxiliares após a chegada de consultas do utilizador, garantindo assim respostas em tempo real para interações contínuas com fluxos de vídeo, o que alcança um Tempo para o Primeiro Token (TTFT) 10 vezes mais rápido em comparação com o SOTA anterior. Mesmo ao reduzir os *tokens* de vídeo em até 68% em comparação com a amostragem uniforme, o HERMES alcança uma precisão superior ou comparável em todos os *benchmarks*, com ganhos de até 11,4% em conjuntos de dados de *streaming*.
English
Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated significant improvement in offline video understanding. However, extending these capabilities to streaming video inputs, remains challenging, as existing models struggle to simultaneously maintain stable understanding performance, real-time responses, and low GPU memory overhead. To address this challenge, we propose HERMES, a novel training-free architecture for real-time and accurate understanding of video streams. Based on a mechanistic attention investigation, we conceptualize KV cache as a hierarchical memory framework that encapsulates video information across multiple granularities. During inference, HERMES reuses a compact KV cache, enabling efficient streaming understanding under resource constraints. Notably, HERMES requires no auxiliary computations upon the arrival of user queries, thereby guaranteeing real-time responses for continuous video stream interactions, which achieves 10times faster TTFT compared to prior SOTA. Even when reducing video tokens by up to 68% compared with uniform sampling, HERMES achieves superior or comparable accuracy across all benchmarks, with up to 11.4% gains on streaming datasets.