StreamingVLM: Реальное время для понимания бесконечных видеопотоков

StreamingVLM: Real-Time Understanding for Infinite Video Streams

October 10, 2025

Авторы: Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Kelly Peng, Yao Lu, Song Han

cs.AI

Аннотация

Модели, объединяющие зрение и язык (VLMs), могут стать основой для ассистентов реального времени и автономных агентов, но они сталкиваются с критической проблемой: понимание практически бесконечных видеопотоков без увеличения задержек и использования памяти. Обработка всего видео с полным вниманием приводит к квадратичным вычислительным затратам и низкой производительности на длинных видео. В то же время простые методы скользящего окна также имеют недостатки, так как они либо нарушают связность, либо страдают от высокой задержки из-за избыточных пересчетов. В этой статье мы представляем StreamingVLM — модель, разработанную для стабильного понимания бесконечного визуального потока в реальном времени. Наш подход представляет собой унифицированную структуру, которая согласует обучение с потоковым выводом. Во время вывода мы поддерживаем компактный кэш ключей и значений (KV cache), повторно используя состояния "внимания к стокам", короткое окно недавних визуальных токенов и длинное окно недавних текстовых токенов. Эта способность к потоковой обработке внедряется с помощью простой стратегии контролируемого тонкого обучения (SFT), которая применяет полное внимание на коротких, перекрывающихся фрагментах видео, эффективно имитируя паттерн внимания во время вывода без необходимости обучения на чрезмерно длинных контекстах. Для оценки мы создали Inf-Streams-Eval — новый бенчмарк с видео средней продолжительностью более двух часов, требующий плотного, посекундного согласования между кадрами и текстом. На Inf-Streams-Eval StreamingVLM достигает 66,18% выигрышного соотношения против GPT-4O mini и поддерживает стабильную производительность в реальном времени до 8 кадров в секунду на одной видеокарте NVIDIA H100. Примечательно, что наша стратегия SFT также улучшает общие способности к визуальному вопросно-ответу (VQA) без какого-либо специфического тонкого обучения для VQA, повышая производительность на LongVideoBench на +4,30 и на OVOBench Realtime на +5,96. Код доступен по адресу https://github.com/mit-han-lab/streaming-vlm.

English

Vision-language models (VLMs) could power real-time assistants and autonomous agents, but they face a critical challenge: understanding near-infinite video streams without escalating latency and memory usage. Processing entire videos with full attention leads to quadratic computational costs and poor performance on long videos. Meanwhile, simple sliding window methods are also flawed, as they either break coherence or suffer from high latency due to redundant recomputation. In this paper, we introduce StreamingVLM, a model designed for real-time, stable understanding of infinite visual input. Our approach is a unified framework that aligns training with streaming inference. During inference, we maintain a compact KV cache by reusing states of attention sinks, a short window of recent vision tokens, and a long window of recent text tokens. This streaming ability is instilled via a simple supervised fine-tuning (SFT) strategy that applies full attention on short, overlapped video chunks, which effectively mimics the inference-time attention pattern without training on prohibitively long contexts. For evaluation, we build Inf-Streams-Eval, a new benchmark with videos averaging over two hours that requires dense, per-second alignment between frames and text. On Inf-Streams-Eval, StreamingVLM achieves a 66.18% win rate against GPT-4O mini and maintains stable, real-time performance at up to 8 FPS on a single NVIDIA H100. Notably, our SFT strategy also enhances general VQA abilities without any VQA-specific fine-tuning, improving performance on LongVideoBench by +4.30 and OVOBench Realtime by +5.96. Code is available at https://github.com/mit-han-lab/streaming-vlm.