MUSEG：タイムスタンプを意識したマルチセグメントグラウンディングによるビデオ時間理解の強化

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

May 27, 2025

著者: Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

要旨

ビデオの時間的理解は、マルチモーダル大規模言語モデル（MLLMs）がビデオ内のイベントを推論する上で重要である。一般的なビデオ理解における最近の進展にもかかわらず、現在のMLLMsは依然として細粒度の時間的推論に苦戦している。この問題に対処するために強化学習（RL）が最近探求されているが、既存のRLアプローチは効果において限界がある。本研究では、MUSEGという新しいRLベースの手法を提案し、タイムスタンプを意識したマルチセグメントグラウンディングを導入することで時間的理解を強化する。MUSEGは、MLLMsがクエリを複数の関連ビデオセグメントと整合させることを可能にし、より包括的な時間的推論を促進する。効果的な学習を促進するために、段階的な報酬を用いたカスタマイズされたRLトレーニングレシピを設計し、モデルを時間的にグラウンディングされた推論に向けて漸進的に導く。時間的グラウンディングおよび時間敏感なビデオQAタスクにおける広範な実験により、MUSEGが既存の手法を大幅に上回り、多様な時間的理解シナリオにおいて良好に汎化することを示す。プロジェクトはhttps://github.com/THUNLP-MT/MUSEGで閲覧可能である。

English

Video temporal understanding is crucial for multimodal large language models (MLLMs) to reason over events in videos. Despite recent advances in general video understanding, current MLLMs still struggle with fine-grained temporal reasoning. While reinforcement learning (RL) has been explored to address this issue recently, existing RL approaches remain limited in effectiveness. In this work, we propose MUSEG, a novel RL-based method that enhances temporal understanding by introducing timestamp-aware multi-segment grounding. MUSEG enables MLLMs to align queries with multiple relevant video segments, promoting more comprehensive temporal reasoning. To facilitate effective learning, we design a customized RL training recipe with phased rewards that progressively guides the model toward temporally grounded reasoning. Extensive experiments on temporal grounding and time-sensitive video QA tasks demonstrate that MUSEG significantly outperforms existing methods and generalizes well across diverse temporal understanding scenarios. View our project at https://github.com/THUNLP-MT/MUSEG.