MUSEG: Усиление временного понимания видео через мультисегментное привязывание с учетом временных меток

MUSEG: Reinforcing Video Temporal Understanding via Timestamp-Aware Multi-Segment Grounding

May 27, 2025

Авторы: Fuwen Luo, Shengfeng Lou, Chi Chen, Ziyue Wang, Chenliang Li, Weizhou Shen, Jiyue Guo, Peng Li, Ming Yan, Ji Zhang, Fei Huang, Yang Liu

cs.AI

Аннотация

Понимание временной структуры видео имеет решающее значение для мультимодальных больших языковых моделей (MLLMs), чтобы они могли анализировать события в видеороликах. Несмотря на недавние достижения в области общего понимания видео, современные MLLMs по-прежнему испытывают трудности с детальным временным анализом. Хотя для решения этой проблемы недавно изучалось применение обучения с подкреплением (RL), существующие подходы на основе RL остаются недостаточно эффективными. В данной работе мы предлагаем MUSEG — новый метод на основе RL, который улучшает временное понимание за счет введения временной привязки с учетом меток времени для нескольких сегментов. MUSEG позволяет MLLMs сопоставлять запросы с несколькими релевантными сегментами видео, способствуя более полному временному анализу. Для обеспечения эффективного обучения мы разработали специализированный рецепт обучения RL с поэтапными наградами, который постепенно направляет модель к временно обоснованному анализу. Эксперименты на задачах временной привязки и временно-чувствительного видео-вопросно-ответного анализа демонстрируют, что MUSEG значительно превосходит существующие методы и хорошо обобщается на различные сценарии временного понимания. Ознакомиться с проектом можно по ссылке: https://github.com/THUNLP-MT/MUSEG.

English

Video temporal understanding is crucial for multimodal large language models (MLLMs) to reason over events in videos. Despite recent advances in general video understanding, current MLLMs still struggle with fine-grained temporal reasoning. While reinforcement learning (RL) has been explored to address this issue recently, existing RL approaches remain limited in effectiveness. In this work, we propose MUSEG, a novel RL-based method that enhances temporal understanding by introducing timestamp-aware multi-segment grounding. MUSEG enables MLLMs to align queries with multiple relevant video segments, promoting more comprehensive temporal reasoning. To facilitate effective learning, we design a customized RL training recipe with phased rewards that progressively guides the model toward temporally grounded reasoning. Extensive experiments on temporal grounding and time-sensitive video QA tasks demonstrate that MUSEG significantly outperforms existing methods and generalizes well across diverse temporal understanding scenarios. View our project at https://github.com/THUNLP-MT/MUSEG.