HERMES: KV-Cache als hierarchischer Speicher für effizientes Streaming-Videoverständnis

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

January 21, 2026

papers.authors: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

cs.AI

papers.abstract

Jüngste Fortschritte bei multimodalen großen Sprachmodellen (MLLMs) haben bedeutende Verbesserungen im Offline-Videoverständnis demonstriert. Die Übertragung dieser Fähigkeiten auf Streaming-Videoeingaben bleibt jedoch eine Herausforderung, da bestehende Modelle Schwierigkeiten haben, gleichzeitig stabiles Verständnis, Echtzeitantworten und geringen GPU-Speicherverbrauch zu gewährleisten. Um diese Herausforderung zu bewältigen, schlagen wir HERMES vor, eine neuartige, trainingsfreie Architektur für echzeitfähiges und präzises Verständnis von Videostreams. Basierend auf einer mechanistischen Untersuchung der Aufmerksamkeit konzipieren wir den KV-Cache als hierarchischen Speicherrahmen, der Videoinformationen über mehrere Granularitäten hinweg erfasst. Während der Inferenz wiederverwendet HERMES einen kompakten KV-Cache und ermöglicht so effizientes Streaming-Verständnis unter Ressourcenbeschränkungen. Bemerkenswerterweise benötigt HERMES bei Eingang von Benutzeranfragen keine zusätzlichen Berechnungen, was Echtzeitantworten für kontinuierliche Videostream-Interaktionen garantiert und eine 10-mal schnellere TTFT im Vergleich zum bisherigen Stand der Technik (SOTA) erreicht. Selbst bei einer Reduzierung der Videotokens um bis zu 68 % im Vergleich zur gleichmäßigen Abtastung erzielt HERMES eine überlegene oder vergleichbare Genauigkeit in allen Benchmarks, mit Steigerungen von bis zu 11,4 % auf Streaming-Datensätzen.

English

Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated significant improvement in offline video understanding. However, extending these capabilities to streaming video inputs, remains challenging, as existing models struggle to simultaneously maintain stable understanding performance, real-time responses, and low GPU memory overhead. To address this challenge, we propose HERMES, a novel training-free architecture for real-time and accurate understanding of video streams. Based on a mechanistic attention investigation, we conceptualize KV cache as a hierarchical memory framework that encapsulates video information across multiple granularities. During inference, HERMES reuses a compact KV cache, enabling efficient streaming understanding under resource constraints. Notably, HERMES requires no auxiliary computations upon the arrival of user queries, thereby guaranteeing real-time responses for continuous video stream interactions, which achieves 10times faster TTFT compared to prior SOTA. Even when reducing video tokens by up to 68% compared with uniform sampling, HERMES achieves superior or comparable accuracy across all benchmarks, with up to 11.4% gains on streaming datasets.