MUSEG: Stärkung des zeitlichen Verständnisses von Videos durch zeitstempelbewusste Multi-Segment-Verankerung

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

May 27, 2025

Autoren: Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Zusammenfassung

Das zeitliche Verständnis von Videos ist entscheidend für multimodale große Sprachmodelle (MLLMs), um Ereignisse in Videos zu analysieren. Trotz jüngster Fortschritte im allgemeinen Video-Verständnis haben aktuelle MLLMs weiterhin Schwierigkeiten mit feinkörnigem zeitlichem Schließen. Obwohl Reinforcement Learning (RL) kürzlich zur Lösung dieses Problems untersucht wurde, bleiben bestehende RL-Ansätze in ihrer Wirksamkeit begrenzt. In dieser Arbeit schlagen wir MUSEG vor, eine neuartige RL-basierte Methode, die das zeitliche Verständnis durch die Einführung einer zeitstempelbewussten Multi-Segment-Verankerung verbessert. MUSEG ermöglicht es MLLMs, Anfragen mit mehreren relevanten Videosegmenten abzugleichen, wodurch ein umfassenderes zeitliches Schließen gefördert wird. Um effektives Lernen zu ermöglichen, entwerfen wir ein maßgeschneidertes RL-Trainingsschema mit phasenweisen Belohnungen, das das Modell schrittweise zu zeitlich verankertem Schließen führt. Umfangreiche Experimente zur zeitlichen Verankerung und zeitkritischen Video-Frage-Antwort-Aufgaben zeigen, dass MUSEG bestehende Methoden deutlich übertrifft und sich gut über verschiedene Szenarien des zeitlichen Verständnisses verallgemeinern lässt. Unser Projekt ist unter https://github.com/THUNLP-MT/MUSEG einsehbar.

English

Video temporal understanding is crucial for multimodal large language models (MLLMs) to reason over events in videos. Despite recent advances in general video understanding, current MLLMs still struggle with fine-grained temporal reasoning. While reinforcement learning (RL) has been explored to address this issue recently, existing RL approaches remain limited in effectiveness. In this work, we propose MUSEG, a novel RL-based method that enhances temporal understanding by introducing timestamp-aware multi-segment grounding. MUSEG enables MLLMs to align queries with multiple relevant video segments, promoting more comprehensive temporal reasoning. To facilitate effective learning, we design a customized RL training recipe with phased rewards that progressively guides the model toward temporally grounded reasoning. Extensive experiments on temporal grounding and time-sensitive video QA tasks demonstrate that MUSEG significantly outperforms existing methods and generalizes well across diverse temporal understanding scenarios. View our project at https://github.com/THUNLP-MT/MUSEG.