STRIDE: La Fusión del Cuándo Hablar con la Eliminación de Ruido en Secuencias para la Comprensión de Vídeo en Tiempo Real
STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding
March 29, 2026
Autores: Junho Kim, Hosu Lee, James M. Rehg, Minsu Kim, Yong Man Ro
cs.AI
Resumen
Los recientes avances en los modelos de lenguaje de gran escala para video (Video-LLM) han permitido un razonamiento offline sólido sobre videos largos y complejos. Sin embargo, los despliegues en el mundo real requieren cada vez más una percepción en flujo continuo (streaming) y una interacción proactiva, donde los fotogramas de video llegan en línea y el sistema debe decidir no solo qué responder, sino también cuándo responder. En este trabajo, revisitamos la activación proactiva en video en streaming como un problema de modelado de secuencias estructurado, motivados por la observación de que las transiciones temporales en el video en streaming forman naturalmente patrones de activación con estructura de segmentos (spans). Para capturar esta estructura a nivel de segmento, modelamos las señales de activación de manera conjunta sobre una ventana temporal deslizante y las actualizamos iterativamente a medida que llegan nuevos fotogramas. Proponemos STRIDE (Refinamiento Temporal Estructurado con Desruido Iterativo), que emplea un módulo ligero de difusión enmascarada en la interfaz de activación para predecir y refinar progresivamente de manera conjunta las señales de activación a lo largo de la ventana. Experimentos exhaustivos en diversos benchmarks de streaming y modelos subsiguientes demuestran que STRIDE genera respuestas proactivas más fiables y temporalmente coherentes, mejorando significativamente la calidad de las decisiones sobre cuándo hablar en escenarios de streaming en línea.
English
Recent progress in video large language models (Video-LLMs) has enabled strong offline reasoning over long and complex videos. However, real-world deployments increasingly require streaming perception and proactive interaction, where video frames arrive online and the system must decide not only what to respond, but also when to respond. In this work, we revisit proactive activation in streaming video as a structured sequence modeling problem, motivated by the observation that temporal transitions in streaming video naturally form span-structured activation patterns. To capture this span-level structure, we model activation signals jointly over a sliding temporal window and update them iteratively as new frames arrive. We propose STRIDE (Structured Temporal Refinement with Iterative DEnoising), which employs a lightweight masked diffusion module at the activation interface to jointly predict and progressively refine activation signals across the window. Extensive experiments on diverse streaming benchmarks and downstream models demonstrate that STRIDE shows more reliable and temporally coherent proactive responses, significantly improving when-to-speak decision quality in online streaming scenarios.