STRIDE: Когда речь встречается с последовательностным шумоподавлением для потокового понимания видео
STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding
March 29, 2026
Авторы: Junho Kim, Hosu Lee, James M. Rehg, Minsu Kim, Yong Man Ro
cs.AI
Аннотация
Последние достижения в области видео-ориентированных больших языковых моделей (Video-LLM) обеспечили мощные возможности для анализа длинных и сложных видео в автономном режиме. Однако в реальных сценариях развертывания все чаще требуются потоковое восприятие и проактивное взаимодействие, когда видеокадры поступают в режиме онлайн, и система должна решать не только *что* отвечать, но и *когда* отвечать. В данной работе мы рассматриваем проблему проактивной активации в потоковом видео как задачу моделирования структурированных последовательностей, мотивируя это наблюдением, что временные переходы в потоковом видео естественным образом формируют активационные паттерны, структурированные в виде интервалов (спанов). Чтобы уловить эту структуру на уровне интервалов, мы совместно моделируем сигналы активации в скользящем временном окне и итеративно обновляем их по мере поступления новых кадров. Мы предлагаем метод STRIDE (Structured Temporal Refinement with Iterative DEnoising — структурированное временное уточнение с итеративным шумоподавлением), который использует легковесный модуль маскированной диффузии на интерфейсе активации для совместного прогнозирования и прогрессивного уточнения сигналов активации в пределах окна. Многочисленные эксперименты на различных потоковых бенчмарках и с использованием последующих моделей демонстрируют, что STRIDE обеспечивает более надежные и временно согласованные проактивные реакции, значительно повышая качество решений о моменте ответа в онлайн-потоковых сценариях.
English
Recent progress in video large language models (Video-LLMs) has enabled strong offline reasoning over long and complex videos. However, real-world deployments increasingly require streaming perception and proactive interaction, where video frames arrive online and the system must decide not only what to respond, but also when to respond. In this work, we revisit proactive activation in streaming video as a structured sequence modeling problem, motivated by the observation that temporal transitions in streaming video naturally form span-structured activation patterns. To capture this span-level structure, we model activation signals jointly over a sliding temporal window and update them iteratively as new frames arrive. We propose STRIDE (Structured Temporal Refinement with Iterative DEnoising), which employs a lightweight masked diffusion module at the activation interface to jointly predict and progressively refine activation signals across the window. Extensive experiments on diverse streaming benchmarks and downstream models demonstrate that STRIDE shows more reliable and temporally coherent proactive responses, significantly improving when-to-speak decision quality in online streaming scenarios.