MUSEG: Reforçando a Compreensão Temporal de Vídeos por meio de Ancoragem Multi-Segmentada com Consciência de Timestamp

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

May 27, 2025

Autores: Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Resumo

A compreensão temporal de vídeos é crucial para modelos de linguagem multimodal de grande escala (MLLMs) raciocinarem sobre eventos em vídeos. Apesar dos avanços recentes na compreensão geral de vídeos, os MLLMs atuais ainda enfrentam dificuldades com raciocínio temporal de granularidade fina. Embora o aprendizado por reforço (RL) tenha sido explorado recentemente para abordar essa questão, as abordagens existentes de RL ainda são limitadas em eficácia. Neste trabalho, propomos o MUSEG, um método inovador baseado em RL que aprimora a compreensão temporal ao introduzir o alinhamento multi-segmento com consciência de timestamps. O MUSEG permite que os MLLMs alinhem consultas com múltiplos segmentos relevantes do vídeo, promovendo um raciocínio temporal mais abrangente. Para facilitar o aprendizado eficaz, projetamos uma receita de treinamento de RL personalizada com recompensas em fases que guiam progressivamente o modelo em direção a um raciocínio temporalmente fundamentado. Experimentos extensivos em tarefas de alinhamento temporal e questionamento de vídeo sensível ao tempo demonstram que o MUSEG supera significativamente os métodos existentes e generaliza bem em diversos cenários de compreensão temporal. Veja nosso projeto em https://github.com/THUNLP-MT/MUSEG.

English

Video temporal understanding is crucial for multimodal large language models (MLLMs) to reason over events in videos. Despite recent advances in general video understanding, current MLLMs still struggle with fine-grained temporal reasoning. While reinforcement learning (RL) has been explored to address this issue recently, existing RL approaches remain limited in effectiveness. In this work, we propose MUSEG, a novel RL-based method that enhances temporal understanding by introducing timestamp-aware multi-segment grounding. MUSEG enables MLLMs to align queries with multiple relevant video segments, promoting more comprehensive temporal reasoning. To facilitate effective learning, we design a customized RL training recipe with phased rewards that progressively guides the model toward temporally grounded reasoning. Extensive experiments on temporal grounding and time-sensitive video QA tasks demonstrate that MUSEG significantly outperforms existing methods and generalizes well across diverse temporal understanding scenarios. View our project at https://github.com/THUNLP-MT/MUSEG.