STRIDE: Wanneer Spreken Samenkomt met Sequentiële Denoisering voor Streaming Videobegrip
STRIDE: When to Speak Meets Sequence Denoising for Streaming Video Understanding
March 29, 2026
Auteurs: Junho Kim, Hosu Lee, James M. Rehg, Minsu Kim, Yong Man Ro
cs.AI
Samenvatting
Recente vooruitgang in videogrote-taalmmodellen (Video-LLM's) heeft krachtige offline redenering over lange en complexe video's mogelijk gemaakt. In praktijkimplementaties is er echter een toenemende behoefte aan streamingperceptie en proactieve interactie, waarbij videoframes online binnenkomen en het systeem niet alleen moet beslissen wat te antwoorden, maar ook wanneer te antwoorden. In dit werk benaderen we proactieve activering in streamingvideo opnieuw als een gestructureerd sequentiemodelprobleem, gemotiveerd door de observatie dat temporele overgangen in streamingvideo van nature span-gestructureerde activeringspatronen vormen. Om deze span-niveau structuur vast te leggen, modelleren we activeringssignalen gezamenlijk over een glijdend temporeel venster en werken we deze iteratief bij wanneer nieuwe frames arriveren. Wij stellen STRIDE voor (Gestructureerde Temporele Verfijning met Iteratieve Denoisering), dat een lichtgewicht gemaskeerd diffusiemodule gebruikt op de activeringsinterface om gezamenlijk activeringssignalen over het venster te voorspellen en progressief te verfijnen. Uitgebreide experimenten op diverse streamingbenchmarks en downstreammodellen tonen aan dat STRIDE betrouwbaardere en temporeel coherentere proactieve reacties vertoont, waardoor de kwaliteit van 'wanneer-te-spreken'-beslissingen in online streaming scenario's aanzienlijk verbetert.
English
Recent progress in video large language models (Video-LLMs) has enabled strong offline reasoning over long and complex videos. However, real-world deployments increasingly require streaming perception and proactive interaction, where video frames arrive online and the system must decide not only what to respond, but also when to respond. In this work, we revisit proactive activation in streaming video as a structured sequence modeling problem, motivated by the observation that temporal transitions in streaming video naturally form span-structured activation patterns. To capture this span-level structure, we model activation signals jointly over a sliding temporal window and update them iteratively as new frames arrive. We propose STRIDE (Structured Temporal Refinement with Iterative DEnoising), which employs a lightweight masked diffusion module at the activation interface to jointly predict and progressively refine activation signals across the window. Extensive experiments on diverse streaming benchmarks and downstream models demonstrate that STRIDE shows more reliable and temporally coherent proactive responses, significantly improving when-to-speak decision quality in online streaming scenarios.