HERMES : Le Cache KV comme Mémoire Hiérarchique pour une Compréhension Efficace des Vidéos en Flux
HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding
January 21, 2026
papers.authors: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu
cs.AI
papers.abstract
Les récents progrès des modèles de langage multimodaux (MLLM) ont démontré des améliorations significatives dans la compréhension vidéo hors ligne. Cependant, l'extension de ces capacités aux flux vidéo en temps réel reste un défi, car les modèles existants peinent à maintenir simultanément des performances de compréhension stables, des réponses en temps réel et une faible consommation de mémoire GPU. Pour relever ce défi, nous proposons HERMES, une nouvelle architecture sans apprentissage pour la compréhension précise et en temps réel des flux vidéo. Sur la base d'une analyse mécanistique de l'attention, nous conceptualisons le cache clé-valeur (KV) comme un framework de mémoire hiérarchique qui encapsule l'information vidéo à plusieurs granularités. Lors de l'inférence, HERMES réutilise un cache KV compact, permettant une compréhension efficace des flux sous contraintes de ressources. Fait notable, HERMES ne nécessite aucun calcul supplémentaire lors de la réception des requêtes utilisateur, garantissant ainsi des réponses en temps réel pour les interactions continues avec les flux vidéo, ce qui permet d'atteindre un TTFT jusqu'à 10 fois plus rapide que les méthodes SOTA précédentes. Même en réduisant jusqu'à 68 % les tokens vidéo par rapport à un échantillonnage uniforme, HERMES obtient une précision supérieure ou comparable sur tous les benchmarks, avec des gains allant jusqu'à 11,4 % sur les ensembles de données de streaming.
English
Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated significant improvement in offline video understanding. However, extending these capabilities to streaming video inputs, remains challenging, as existing models struggle to simultaneously maintain stable understanding performance, real-time responses, and low GPU memory overhead. To address this challenge, we propose HERMES, a novel training-free architecture for real-time and accurate understanding of video streams. Based on a mechanistic attention investigation, we conceptualize KV cache as a hierarchical memory framework that encapsulates video information across multiple granularities. During inference, HERMES reuses a compact KV cache, enabling efficient streaming understanding under resource constraints. Notably, HERMES requires no auxiliary computations upon the arrival of user queries, thereby guaranteeing real-time responses for continuous video stream interactions, which achieves 10times faster TTFT compared to prior SOTA. Even when reducing video tokens by up to 68% compared with uniform sampling, HERMES achieves superior or comparable accuracy across all benchmarks, with up to 11.4% gains on streaming datasets.