HERMES: KV-Cache als Hiërarchisch Geheugen voor Efficiënt Begrip van Streaming Video
HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding
January 21, 2026
Auteurs: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu
cs.AI
Samenvatting
Recente vooruitgang in Multimodale Large Language Models (MLLM's) heeft een significante verbetering aangetoond in het offline begrip van video's. Het uitbreiden van deze capaciteiten naar stromende videogegevens blijft echter een uitdaging, omdat bestaande modellen moeite hebben om tegelijkertijd een stabiele begripsprestatie, realtime reacties en een lage GPU-geheugenbelasting te handhaven. Om deze uitdaging aan te pakken, stellen wij HERMES voor, een nieuwe, trainingsvrije architectuur voor realtime en accuraat begrip van videostreams. Gebaseerd op een mechanistisch onderzoek naar aandacht, conceptualiseren we de KV-cache als een hiërarchisch geheugenkader dat video-informatie op meerdere granulariteiten vastlegt. Tijdens inferentie hergebruikt HERMES een compacte KV-cache, waardoor efficiënt stream-begrip onder beperkte middelen mogelijk wordt. Opmerkelijk is dat HERMES geen hulpberekeningen vereist bij de aankomst van gebruikersvragen, waardoor realtime reacties voor continue videostream-interacties worden gegarandeerd, wat een 10 keer snellere TTFT bereikt in vergelijking met eerdere state-of-the-art. Zelfs wanneer videotokens met tot 68% worden verminderd in vergelijking met uniforme sampling, behaalt HERMES superieure of vergelijkbare nauwkeurigheid op alle benchmarks, met winsten tot 11,4% op streamingdatasets.
English
Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated significant improvement in offline video understanding. However, extending these capabilities to streaming video inputs, remains challenging, as existing models struggle to simultaneously maintain stable understanding performance, real-time responses, and low GPU memory overhead. To address this challenge, we propose HERMES, a novel training-free architecture for real-time and accurate understanding of video streams. Based on a mechanistic attention investigation, we conceptualize KV cache as a hierarchical memory framework that encapsulates video information across multiple granularities. During inference, HERMES reuses a compact KV cache, enabling efficient streaming understanding under resource constraints. Notably, HERMES requires no auxiliary computations upon the arrival of user queries, thereby guaranteeing real-time responses for continuous video stream interactions, which achieves 10times faster TTFT compared to prior SOTA. Even when reducing video tokens by up to 68% compared with uniform sampling, HERMES achieves superior or comparable accuracy across all benchmarks, with up to 11.4% gains on streaming datasets.