HERMES: Кэш ключей-значений как иерархическая память для эффективного понимания потокового видео

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

January 21, 2026

Авторы: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

cs.AI

Аннотация

Последние достижения в области мультимодальных больших языковых моделей (MLLM) продемонстрировали значительный прогресс в задачах анализа видео в офлайн-режиме. Однако расширение этих возможностей на потоковое видео остается сложной задачей, поскольку существующие модели не способны одновременно обеспечивать стабильное качество понимания, реакции в реальном времени и низкие затраты памяти GPU. Для решения этой проблемы мы предлагаем HERMES — новую архитектуру для точного анализа видеопотоков в реальном времени, не требующую дообучения. На основе механистического исследования механизма внимания мы концептуализируем KV-кэш как иерархическую систему памяти, которая инкапсулирует видеоинформацию на нескольких уровнях детализации. Во время вывода HERMES повторно использует компактный KV-кэш, что позволяет эффективно анализировать потоковое видео в условиях ограниченных ресурсов. Примечательно, что HERMES не требует дополнительных вычислений при поступлении пользовательских запросов, гарантируя мгновенные ответы при взаимодействии с непрерывным видеопотоком, что обеспечивает 10-кратное ускорение времени до первого токена (TTFT) по сравнению с предыдущими state-of-the-art решениями. Даже при сокращении количества видео-токенов до 68% по сравнению с равномерной выборкой HERMES демонстрирует превосходную или сопоставимую точность на всех тестовых наборах, с улучшением до 11.4% на стриминговых данных.

English

Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated significant improvement in offline video understanding. However, extending these capabilities to streaming video inputs, remains challenging, as existing models struggle to simultaneously maintain stable understanding performance, real-time responses, and low GPU memory overhead. To address this challenge, we propose HERMES, a novel training-free architecture for real-time and accurate understanding of video streams. Based on a mechanistic attention investigation, we conceptualize KV cache as a hierarchical memory framework that encapsulates video information across multiple granularities. During inference, HERMES reuses a compact KV cache, enabling efficient streaming understanding under resource constraints. Notably, HERMES requires no auxiliary computations upon the arrival of user queries, thereby guaranteeing real-time responses for continuous video stream interactions, which achieves 10times faster TTFT compared to prior SOTA. Even when reducing video tokens by up to 68% compared with uniform sampling, HERMES achieves superior or comparable accuracy across all benchmarks, with up to 11.4% gains on streaming datasets.