STRIDE: Quando Falar Encontra a Desnudação de Sequências para a Compreensão de Vídeo em Fluxo Contínuo
STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding
March 29, 2026
Autores: Junho Kim, Hosu Lee, James M. Rehg, Minsu Kim, Yong Man Ro
cs.AI
Resumo
Os recentes avanços em modelos de linguagem de grande escala para vídeo (Video-LLMs) permitiram um raciocínio offline robusto sobre vídeos longos e complexos. No entanto, as implantações no mundo real exigem cada vez mais percepção em fluxo contínuo (streaming) e interação proativa, onde os frames de vídeo chegam online e o sistema deve decidir não apenas *o que* responder, mas também *quando* responder. Neste trabalho, revisitamos a ativação proativa em vídeo em streaming como um problema de modelagem de sequência estruturada, motivados pela observação de que as transições temporais em vídeo em streaming formam naturalmente padrões de ativação estruturados em *spans* (intervalos). Para capturar essa estrutura a nível de *span*, modelamos os sinais de ativação conjuntamente sobre uma janela temporal deslizante e os atualizamos iterativamente à medida que novos *frames* chegam. Propomos o STRIDE (Structured Temporal Refinement with Iterative DEnoising - Refinamento Temporal Estruturado com Desruído Iterativo), que emprega um módulo leve de difusão mascarada na interface de ativação para prever e refinar progressivamente os sinais de ativação ao longo da janela. Experimentos extensos em diversos benchmarks de streaming e modelos subsequentes demonstram que o STRIDE apresenta respostas proativas mais confiáveis e temporalmente coerentes, melhorando significativamente a qualidade da decisão de *quando falar* em cenários de streaming online.
English
Recent progress in video large language models (Video-LLMs) has enabled strong offline reasoning over long and complex videos. However, real-world deployments increasingly require streaming perception and proactive interaction, where video frames arrive online and the system must decide not only what to respond, but also when to respond. In this work, we revisit proactive activation in streaming video as a structured sequence modeling problem, motivated by the observation that temporal transitions in streaming video naturally form span-structured activation patterns. To capture this span-level structure, we model activation signals jointly over a sliding temporal window and update them iteratively as new frames arrive. We propose STRIDE (Structured Temporal Refinement with Iterative DEnoising), which employs a lightweight masked diffusion module at the activation interface to jointly predict and progressively refine activation signals across the window. Extensive experiments on diverse streaming benchmarks and downstream models demonstrate that STRIDE shows more reliable and temporally coherent proactive responses, significantly improving when-to-speak decision quality in online streaming scenarios.