StreamingVLM : Compréhension en temps réel pour des flux vidéo infinis

papers.abstract

Les modèles vision-langage (VLMs) pourraient alimenter des assistants en temps réel et des agents autonomes, mais ils sont confrontés à un défi critique : comprendre des flux vidéo quasi infinis sans augmenter la latence et l'utilisation de la mémoire. Traiter des vidéos entières avec une attention complète entraîne des coûts de calcul quadratiques et une performance médiocre sur les vidéos longues. Par ailleurs, les méthodes simples de fenêtrage glissant sont également imparfaites, car elles brisent la cohérence ou souffrent d'une latence élevée due à la recomputation redondante. Dans cet article, nous présentons StreamingVLM, un modèle conçu pour une compréhension en temps réel et stable d'entrées visuelles infinies. Notre approche est un cadre unifié qui aligne l'entraînement avec l'inférence en flux. Pendant l'inférence, nous maintenons un cache KV compact en réutilisant les états des puits d'attention, une courte fenêtre de tokens visuels récents et une longue fenêtre de tokens textuels récents. Cette capacité de streaming est instaurée via une stratégie simple de fine-tuning supervisé (SFT) qui applique une attention complète sur des segments vidéo courts et chevauchants, imitant efficacement le modèle d'attention au moment de l'inférence sans nécessiter un entraînement sur des contextes excessivement longs. Pour l'évaluation, nous construisons Inf-Streams-Eval, un nouveau benchmark avec des vidéos d'une durée moyenne de plus de deux heures qui nécessite un alignement dense, par seconde, entre les images et le texte. Sur Inf-Streams-Eval, StreamingVLM atteint un taux de réussite de 66,18 % contre GPT-4O mini et maintient une performance stable en temps réel jusqu'à 8 FPS sur une seule carte NVIDIA H100. Notamment, notre stratégie SFT améliore également les capacités générales de VQA sans aucun fine-tuning spécifique à la VQA, améliorant les performances sur LongVideoBench de +4,30 et sur OVOBench Realtime de +5,96. Le code est disponible à l'adresse https://github.com/mit-han-lab/streaming-vlm.

English

Vision-language models (VLMs) could power real-time assistants and autonomous agents, but they face a critical challenge: understanding near-infinite video streams without escalating latency and memory usage. Processing entire videos with full attention leads to quadratic computational costs and poor performance on long videos. Meanwhile, simple sliding window methods are also flawed, as they either break coherence or suffer from high latency due to redundant recomputation. In this paper, we introduce StreamingVLM, a model designed for real-time, stable understanding of infinite visual input. Our approach is a unified framework that aligns training with streaming inference. During inference, we maintain a compact KV cache by reusing states of attention sinks, a short window of recent vision tokens, and a long window of recent text tokens. This streaming ability is instilled via a simple supervised fine-tuning (SFT) strategy that applies full attention on short, overlapped video chunks, which effectively mimics the inference-time attention pattern without training on prohibitively long contexts. For evaluation, we build Inf-Streams-Eval, a new benchmark with videos averaging over two hours that requires dense, per-second alignment between frames and text. On Inf-Streams-Eval, StreamingVLM achieves a 66.18% win rate against GPT-4O mini and maintains stable, real-time performance at up to 8 FPS on a single NVIDIA H100. Notably, our SFT strategy also enhances general VQA abilities without any VQA-specific fine-tuning, improving performance on LongVideoBench by +4.30 and OVOBench Realtime by +5.96. Code is available at https://github.com/mit-han-lab/streaming-vlm.

StreamingVLM : Compréhension en temps réel pour des flux vidéo infinis

StreamingVLM: Real-Time Understanding for Infinite Video Streams

papers.abstract

Support