Pensiero in Streaming Video: I VideoLLM Possono Guardare e Pensare Simultaneamente

Video Streaming Thinking: VideoLLMs Can Watch and Think Simultaneously

March 12, 2026

Autori: Yiran Guan, Liang Yin, Dingkang Liang, Jianzhong Ju, Zhenbo Luo, Jian Luan, Yuliang Liu, Xiang Bai

cs.AI

Abstract

I modelli linguistici di grandi dimensioni per video online (VideoLLM) svolgono un ruolo cruciale nel supportare interazioni reattive e in tempo reale. I metodi esistenti si concentrano sulla percezione in streaming, ma mancano di un flusso logico di ragionamento sincronizzato. Tuttavia, l'applicazione diretta di metodi di scalatura al momento del test comporta una latenza di risposta inaccettabile. Per affrontare questo compromesso, proponiamo Video Streaming Thinking (VST), un nuovo paradigma per la comprensione di video in streaming. Esso supporta un meccanismo di "pensare mentre si guarda", che attiva il ragionamento sui segmenti video in arrivo durante lo streaming. Questo design migliora la comprensione tempestiva e la cognizione coerente, preservando al contempo la reattività in tempo reale, ammortizzando la latenza del ragionamento del LLM durante la riproduzione video. Inoltre, introduciamo una pipeline completa di post-addestramento che integra VST-SFT, che adatta strutturalmente il VideoLLM offline al ragionamento causale in streaming, e VST-RL, che fornisce un miglioramento end-to-end attraverso l'auto-esplorazione in un ambiente di interazione video multi-turno. In aggiunta, progettiamo una pipeline automatizzata per la sintesi dei dati di addestramento che utilizza grafi della conoscenza video per generare coppie domanda-risposta di alta qualità per lo streaming, con una Catena di Pensiero (Chain-of-Thought) ancorata a entità-relazioni per imporre un ragionamento multi-evidenza e un'attenzione sostenuta al flusso video. Valutazioni estensive mostrano che VST-7B ottiene prestazioni elevate su benchmark online, ad esempio il 79.5% su StreamingBench e il 59.3% su OVO-Bench. Nel frattempo, VST rimane competitivo su benchmark offline di tipo long-form o di ragionamento. Rispetto a Video-R1, VST risponde 15.7 volte più velocemente e ottiene un miglioramento del +5.4% su VideoHolmes, dimostrando una maggiore efficienza e una forte generalizzazione su varie attività di comprensione video. Codice, dati e modelli saranno rilasciati su https://github.com/1ranGuan/VST.

English

Online Video Large Language Models (VideoLLMs) play a critical role in supporting responsive, real-time interaction. Existing methods focus on streaming perception, lacking a synchronized logical reasoning stream. However, directly applying test-time scaling methods incurs unacceptable response latency. To address this trade-off, we propose Video Streaming Thinking (VST), a novel paradigm for streaming video understanding. It supports a thinking while watching mechanism, which activates reasoning over incoming video clips during streaming. This design improves timely comprehension and coherent cognition while preserving real-time responsiveness by amortizing LLM reasoning latency over video playback. Furthermore, we introduce a comprehensive post-training pipeline that integrates VST-SFT, which structurally adapts the offline VideoLLM to causal streaming reasoning, and VST-RL, which provides end-to-end improvement through self-exploration in a multi-turn video interaction environment. Additionally, we devise an automated training-data synthesis pipeline that uses video knowledge graphs to generate high-quality streaming QA pairs, with an entity-relation grounded streaming Chain-of-Thought to enforce multi-evidence reasoning and sustained attention to the video stream. Extensive evaluations show that VST-7B performs strongly on online benchmarks, e.g. 79.5% on StreamingBench and 59.3% on OVO-Bench. Meanwhile, VST remains competitive on offline long-form or reasoning benchmarks. Compared with Video-R1, VST responds 15.7 times faster and achieves +5.4% improvement on VideoHolmes, demonstrating higher efficiency and strong generalization across diverse video understanding tasks. Code, data, and models will be released at https://github.com/1ranGuan/VST.