STRIDE: Wann zu sprechen ist auf Sequenzentrauschung für Streaming-Videoverständnis abgestimmt
STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding
March 29, 2026
Autoren: Junho Kim, Hosu Lee, James M. Rehg, Minsu Kim, Yong Man Ro
cs.AI
Zusammenfassung
Jüngste Fortschritte bei Video-Large-Language-Models (Video-LLMs) haben eine leistungsstarke Offline-Verarbeitung langer und komplexer Videos ermöglicht. In realen Anwendungsszenarien gewinnen jedoch zunehmend Streaming-Wahrnehmung und proaktive Interaktion an Bedeutung, bei der Videobilder online eintreffen und das System nicht nur entscheiden muss, was es antwortet, sondern auch wann es antwortet. In dieser Arbeit betrachten wir proaktive Aktivierung in Streaming-Videos neu als ein Problem der strukturierten Sequenzmodellierung, motiviert durch die Beobachtung, dass zeitliche Übergänge in Streaming-Videos natürlicherweise spannenstrukturierte Aktivierungsmuster bilden. Um diese Span-ebenen-Strukturen zu erfassen, modellieren wir Aktivierungssignale gemeinsam über ein gleitendes Zeitfenster und aktualisieren sie iterativ, wenn neue Bilder eintreffen. Wir schlagen STRIDE (Structured Temporal Refinement with Iterative Denoising) vor, das ein leichtgewichtiges Masked-Diffusion-Modul an der Aktivierungsschnittstelle einsetzt, um Aktivierungssignale über das Fenster hinweg gemeinsam vorherzusagen und schrittweise zu verfeinern. Umfangreiche Experimente auf diversen Streaming-Benchmarks und nachgelagerten Modellen zeigen, dass STRIDE zuverlässigere und zeitlich kohärentere proaktive Reaktionen liefert und die Entscheidungsqualität bezüglich des optimalen Antwortzeitpunkts in Online-Streaming-Szenarien signifikant verbessert.
English
Recent progress in video large language models (Video-LLMs) has enabled strong offline reasoning over long and complex videos. However, real-world deployments increasingly require streaming perception and proactive interaction, where video frames arrive online and the system must decide not only what to respond, but also when to respond. In this work, we revisit proactive activation in streaming video as a structured sequence modeling problem, motivated by the observation that temporal transitions in streaming video naturally form span-structured activation patterns. To capture this span-level structure, we model activation signals jointly over a sliding temporal window and update them iteratively as new frames arrive. We propose STRIDE (Structured Temporal Refinement with Iterative DEnoising), which employs a lightweight masked diffusion module at the activation interface to jointly predict and progressively refine activation signals across the window. Extensive experiments on diverse streaming benchmarks and downstream models demonstrate that STRIDE shows more reliable and temporally coherent proactive responses, significantly improving when-to-speak decision quality in online streaming scenarios.