STRIDE: Quando Parlare Incontra la Denoizzazione di Sequenze per la Comprensione di Video in Streaming
STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding
March 29, 2026
Autori: Junho Kim, Hosu Lee, James M. Rehg, Minsu Kim, Yong Man Ro
cs.AI
Abstract
I recenti progressi nei modelli linguistici di grandi dimensioni per video (Video-LLM) hanno consentito potenti capacità di ragionamento offline su video lunghi e complessi. Tuttavia, le implementazioni nel mondo reale richiedono sempre più spesso una percezione in streaming e un'interazione proattiva, in cui i fotogrammi video arrivano in tempo reale e il sistema deve decidere non solo cosa rispondere, ma anche quando rispondere. In questo lavoro, rivisitiamo l'attivazione proattiva nello streaming video come un problema di modellazione di sequenze strutturate, motivati dall'osservazione che le transizioni temporali nello streaming video formano naturalmente pattern di attivazione strutturati in intervalli (span). Per catturare questa struttura a livello di intervallo, modelliamo i segnali di attivazione congiuntamente su una finestra temporale scorrevole e li aggiorniamo in modo iterativo all'arrivo di nuovi fotogrammi. Proponiamo STRIDE (STRuctured Temporal Refinement with Iterative DEnoising), che impiega un modulo di diffusione mascherata leggera all'interfaccia di attivazione per prevedere e perfezionare progressivamente i segnali di attivazione attraverso la finestra. Esperimenti estesi su vari benchmark di streaming e modelli downstream dimostrano che STRIDE mostra risposte proattive più affidabili e temporalmente coerenti, migliorando significativamente la qualità delle decisioni su *quando parlare* negli scenari di streaming online.
English
Recent progress in video large language models (Video-LLMs) has enabled strong offline reasoning over long and complex videos. However, real-world deployments increasingly require streaming perception and proactive interaction, where video frames arrive online and the system must decide not only what to respond, but also when to respond. In this work, we revisit proactive activation in streaming video as a structured sequence modeling problem, motivated by the observation that temporal transitions in streaming video naturally form span-structured activation patterns. To capture this span-level structure, we model activation signals jointly over a sliding temporal window and update them iteratively as new frames arrive. We propose STRIDE (Structured Temporal Refinement with Iterative DEnoising), which employs a lightweight masked diffusion module at the activation interface to jointly predict and progressively refine activation signals across the window. Extensive experiments on diverse streaming benchmarks and downstream models demonstrate that STRIDE shows more reliable and temporally coherent proactive responses, significantly improving when-to-speak decision quality in online streaming scenarios.