MUSEG : Renforcement de la compréhension temporelle vidéo via un ancrage multi-segment basé sur des horodatages

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

May 27, 2025

Auteurs: Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Résumé

La compréhension temporelle des vidéos est essentielle pour les modèles de langage multimodaux de grande envergure (MLLMs) afin de raisonner sur les événements dans les vidéos. Malgré les progrès récents dans la compréhension générale des vidéos, les MLLMs actuels rencontrent encore des difficultés avec le raisonnement temporel fin. Bien que l'apprentissage par renforcement (RL) ait été exploré récemment pour résoudre ce problème, les approches existantes en RL restent limitées en termes d'efficacité. Dans ce travail, nous proposons MUSEG, une nouvelle méthode basée sur le RL qui améliore la compréhension temporelle en introduisant un ancrage multi-segments conscient des timestamps. MUSEG permet aux MLLMs d'aligner les requêtes avec plusieurs segments vidéo pertinents, favorisant ainsi un raisonnement temporel plus complet. Pour faciliter un apprentissage efficace, nous concevons une recette d'entraînement RL personnalisée avec des récompenses phasées qui guident progressivement le modèle vers un raisonnement temporel ancré. Des expériences approfondies sur des tâches d'ancrage temporel et de question-réponse vidéo sensibles au temps démontrent que MUSEG surpasse significativement les méthodes existantes et généralise bien à travers divers scénarios de compréhension temporelle. Consultez notre projet à l'adresse https://github.com/THUNLP-MT/MUSEG.

English

Video temporal understanding is crucial for multimodal large language models (MLLMs) to reason over events in videos. Despite recent advances in general video understanding, current MLLMs still struggle with fine-grained temporal reasoning. While reinforcement learning (RL) has been explored to address this issue recently, existing RL approaches remain limited in effectiveness. In this work, we propose MUSEG, a novel RL-based method that enhances temporal understanding by introducing timestamp-aware multi-segment grounding. MUSEG enables MLLMs to align queries with multiple relevant video segments, promoting more comprehensive temporal reasoning. To facilitate effective learning, we design a customized RL training recipe with phased rewards that progressively guides the model toward temporally grounded reasoning. Extensive experiments on temporal grounding and time-sensitive video QA tasks demonstrate that MUSEG significantly outperforms existing methods and generalizes well across diverse temporal understanding scenarios. View our project at https://github.com/THUNLP-MT/MUSEG.