MUSEG: Versterking van temporeel begrip in video's via timestamp-bewuste multi-segment gronding

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

May 27, 2025

Auteurs: Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Samenvatting

Tijdelijke video-begrip is cruciaal voor multimodale grote taalmodellen (MLLMs) om gebeurtenissen in video's te kunnen redeneren. Ondanks recente vooruitgang in algemeen video-begrip, hebben huidige MLLMs nog steeds moeite met fijnmazig temporeel redeneren. Hoewel reinforcement learning (RL) recentelijk is onderzocht om dit probleem aan te pakken, blijven bestaande RL-benaderingen beperkt in effectiviteit. In dit werk stellen we MUSEG voor, een nieuwe RL-gebaseerde methode die temporeel begrip verbetert door het introduceren van timestamp-aware multi-segment grounding. MUSEG stelt MLLMs in staat om queries uit te lijnen met meerdere relevante videosegmenten, wat een uitgebreider temporeel redeneren bevordert. Om effectief leren te faciliteren, hebben we een aangepast RL-trainingsrecept ontworpen met gefaseerde beloningen dat het model geleidelijk begeleidt naar temporeel gegrond redeneren. Uitgebreide experimenten op temporele grounding en tijdgevoelige video-QA-taken tonen aan dat MUSEG aanzienlijk beter presteert dan bestaande methoden en goed generaliseert over diverse temporele begripscenario's. Bekijk ons project op https://github.com/THUNLP-MT/MUSEG.

English

Video temporal understanding is crucial for multimodal large language models (MLLMs) to reason over events in videos. Despite recent advances in general video understanding, current MLLMs still struggle with fine-grained temporal reasoning. While reinforcement learning (RL) has been explored to address this issue recently, existing RL approaches remain limited in effectiveness. In this work, we propose MUSEG, a novel RL-based method that enhances temporal understanding by introducing timestamp-aware multi-segment grounding. MUSEG enables MLLMs to align queries with multiple relevant video segments, promoting more comprehensive temporal reasoning. To facilitate effective learning, we design a customized RL training recipe with phased rewards that progressively guides the model toward temporally grounded reasoning. Extensive experiments on temporal grounding and time-sensitive video QA tasks demonstrate that MUSEG significantly outperforms existing methods and generalizes well across diverse temporal understanding scenarios. View our project at https://github.com/THUNLP-MT/MUSEG.