StreamingVLM: Echtzeit-Verständnis für unendliche Videoströme

papers.abstract

Vision-Language-Modelle (VLMs) könnten Echtzeit-Assistenten und autonome Agenten antreiben, stehen jedoch vor einer kritischen Herausforderung: das Verständnis nahezu unendlicher Videoströme ohne steigende Latenz und Speichernutzung. Die Verarbeitung gesamter Videos mit voller Aufmerksamkeit führt zu quadratischen Rechenkosten und schlechter Leistung bei langen Videos. Gleichzeitig sind einfache Sliding-Window-Methoden ebenfalls fehlerhaft, da sie entweder die Kohärenz brechen oder unter hoher Latenz aufgrund redundanter Neuberechnungen leiden. In diesem Artikel stellen wir StreamingVLM vor, ein Modell, das für das Echtzeit- und stabile Verständnis unendlicher visueller Eingaben entwickelt wurde. Unser Ansatz ist ein einheitliches Framework, das das Training mit dem Streaming-Inference abstimmt. Während der Inferenz halten wir einen kompakten KV-Cache aufrecht, indem wir Zustände von Attention Sinks, ein kurzes Fenster aktueller Vision-Tokens und ein langes Fenster aktueller Text-Tokens wiederverwenden. Diese Streaming-Fähigkeit wird durch eine einfache überwachte Feinabstimmung (SFT) vermittelt, die volle Aufmerksamkeit auf kurze, überlappende Videosegmente anwendet, wodurch effektiv das Aufmerksamkeitsmuster zur Inferenzzeit nachgeahmt wird, ohne auf unverhältnismäßig lange Kontexte zu trainieren. Zur Bewertung haben wir Inf-Streams-Eval entwickelt, einen neuen Benchmark mit Videos von durchschnittlich über zwei Stunden, der eine dichte, sekundengenaue Ausrichtung zwischen Bildern und Text erfordert. Auf Inf-Streams-Eval erreicht StreamingVLM eine Gewinnrate von 66,18 % gegenüber GPT-4O mini und hält eine stabile Echtzeitleistung von bis zu 8 FPS auf einer einzelnen NVIDIA H100 aufrecht. Bemerkenswerterweise verbessert unsere SFT-Strategie auch allgemeine VQA-Fähigkeiten ohne spezifische Feinabstimmung für VQA, was die Leistung auf LongVideoBench um +4,30 und auf OVOBench Realtime um +5,96 steigert. Der Code ist verfügbar unter https://github.com/mit-han-lab/streaming-vlm.

English

Vision-language models (VLMs) could power real-time assistants and autonomous agents, but they face a critical challenge: understanding near-infinite video streams without escalating latency and memory usage. Processing entire videos with full attention leads to quadratic computational costs and poor performance on long videos. Meanwhile, simple sliding window methods are also flawed, as they either break coherence or suffer from high latency due to redundant recomputation. In this paper, we introduce StreamingVLM, a model designed for real-time, stable understanding of infinite visual input. Our approach is a unified framework that aligns training with streaming inference. During inference, we maintain a compact KV cache by reusing states of attention sinks, a short window of recent vision tokens, and a long window of recent text tokens. This streaming ability is instilled via a simple supervised fine-tuning (SFT) strategy that applies full attention on short, overlapped video chunks, which effectively mimics the inference-time attention pattern without training on prohibitively long contexts. For evaluation, we build Inf-Streams-Eval, a new benchmark with videos averaging over two hours that requires dense, per-second alignment between frames and text. On Inf-Streams-Eval, StreamingVLM achieves a 66.18% win rate against GPT-4O mini and maintains stable, real-time performance at up to 8 FPS on a single NVIDIA H100. Notably, our SFT strategy also enhances general VQA abilities without any VQA-specific fine-tuning, improving performance on LongVideoBench by +4.30 and OVOBench Realtime by +5.96. Code is available at https://github.com/mit-han-lab/streaming-vlm.

StreamingVLM: Echtzeit-Verständnis für unendliche Videoströme

StreamingVLM: Real-Time Understanding for Infinite Video Streams

papers.abstract

Support