MUSEG: Rafforzamento della Comprensione Temporale nei Video tramite l'Ancoraggio Multi-Segmento con Consapevolezza dei Timestamp

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

May 27, 2025

Autori: Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Abstract

La comprensione temporale nei video è cruciale per i modelli linguistici multimodali di grandi dimensioni (MLLMs) per ragionare sugli eventi nei video. Nonostante i recenti progressi nella comprensione generale dei video, gli attuali MLLM continuano a lottare con il ragionamento temporale fine. Sebbene il reinforcement learning (RL) sia stato recentemente esplorato per affrontare questo problema, gli approcci RL esistenti rimangono limitati in termini di efficacia. In questo lavoro, proponiamo MUSEG, un metodo innovativo basato su RL che migliora la comprensione temporale introducendo il grounding multi-segmento con consapevolezza dei timestamp. MUSEG consente agli MLLM di allineare le query con più segmenti video rilevanti, promuovendo un ragionamento temporale più completo. Per facilitare un apprendimento efficace, progettiamo una ricetta di addestramento RL personalizzata con ricompense progressive che guidano gradualmente il modello verso un ragionamento temporalmente fondato. Esperimenti estesi su compiti di grounding temporale e QA video sensibili al tempo dimostrano che MUSEG supera significativamente i metodi esistenti e si generalizza bene in diversi scenari di comprensione temporale. Visualizza il nostro progetto all'indirizzo https://github.com/THUNLP-MT/MUSEG.

English

Video temporal understanding is crucial for multimodal large language models (MLLMs) to reason over events in videos. Despite recent advances in general video understanding, current MLLMs still struggle with fine-grained temporal reasoning. While reinforcement learning (RL) has been explored to address this issue recently, existing RL approaches remain limited in effectiveness. In this work, we propose MUSEG, a novel RL-based method that enhances temporal understanding by introducing timestamp-aware multi-segment grounding. MUSEG enables MLLMs to align queries with multiple relevant video segments, promoting more comprehensive temporal reasoning. To facilitate effective learning, we design a customized RL training recipe with phased rewards that progressively guides the model toward temporally grounded reasoning. Extensive experiments on temporal grounding and time-sensitive video QA tasks demonstrate that MUSEG significantly outperforms existing methods and generalizes well across diverse temporal understanding scenarios. View our project at https://github.com/THUNLP-MT/MUSEG.