HERMES: KV Cache come Memoria Gerarchica per una Comprensione Efficiente di Video in Streaming

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

January 21, 2026

Autori: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

cs.AI

Abstract

I recenti progressi nei Modelli Linguistici Multimodali di Grande Dimensione (MLLM) hanno dimostrato un miglioramento significativo nella comprensione video offline. Tuttavia, estendere queste capacità a flussi video in tempo reale rimane una sfida, poiché i modelli esistenti faticano a mantenere simultaneamente prestazioni di comprensione stabili, risposte in tempo reale e un basso utilizzo di memoria GPU. Per affrontare questa sfida, proponiamo HERMES, una nuova architettura senza fase di addestramento per la comprensione accurata e in tempo reale di flussi video. Basandoci su un'analisi meccanicistica dell'attenzione, concettualizziamo la cache KV come un framework di memoria gerarchico che incapsula le informazioni video attraverso molteplici granularità. Durante l'inferenza, HERMES riutilizza una cache KV compatta, consentendo una comprensione efficiente del flusso in condizioni di risorse limitate. È importante notare che HERMES non richiede calcoli ausiliari all'arrivo delle query dell'utente, garantendo così risposte in tempo reale per interazioni con flussi video continui, raggiungendo un TTFT fino a 10 volte più veloce rispetto ai precedenti SOTA. Anche riducendo i token video fino al 68% rispetto al campionamento uniforme, HERMES raggiunge un'accuratezza superiore o comparabile su tutti i benchmark, con guadagni fino all'11,4% su dataset di streaming.

English

Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated significant improvement in offline video understanding. However, extending these capabilities to streaming video inputs, remains challenging, as existing models struggle to simultaneously maintain stable understanding performance, real-time responses, and low GPU memory overhead. To address this challenge, we propose HERMES, a novel training-free architecture for real-time and accurate understanding of video streams. Based on a mechanistic attention investigation, we conceptualize KV cache as a hierarchical memory framework that encapsulates video information across multiple granularities. During inference, HERMES reuses a compact KV cache, enabling efficient streaming understanding under resource constraints. Notably, HERMES requires no auxiliary computations upon the arrival of user queries, thereby guaranteeing real-time responses for continuous video stream interactions, which achieves 10times faster TTFT compared to prior SOTA. Even when reducing video tokens by up to 68% compared with uniform sampling, HERMES achieves superior or comparable accuracy across all benchmarks, with up to 11.4% gains on streaming datasets.