VideoChat-R1: Verbesserung der räumlich-zeitlichen Wahrnehmung durch Reinforcement-Feintuning

VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning

April 9, 2025

Autoren: Xinhao Li, Ziang Yan, Desen Meng, Lu Dong, Xiangyu Zeng, Yinan He, Yali Wang, Yu Qiao, Yi Wang, Limin Wang

cs.AI

Zusammenfassung

Jüngste Fortschritte im Bereich des Reinforcement Learning haben die Fähigkeiten multimodaler großer Sprachmodelle (MLLMs) im Bereich des logischen Denkens erheblich vorangetrieben. Während Ansätze wie die Group Relative Policy Optimization (GRPO) und regelbasierte Belohnungsmechanismen vielversprechend in den Bereichen Text und Bild sind, bleibt ihre Anwendung auf das Verständnis von Videos begrenzt. Dieses Papier präsentiert eine systematische Untersuchung von Reinforcement Fine-Tuning (RFT) mit GRPO für Video-MLLMs, mit dem Ziel, die räumlich-zeitliche Wahrnehmung zu verbessern, ohne dabei die allgemeinen Fähigkeiten zu beeinträchtigen. Unsere Experimente zeigen, dass RFT äußerst dateneffizient für aufgabenspezifische Verbesserungen ist. Durch Multi-Task-RFT auf räumlich-zeitliche Wahrnehmungsziele mit begrenzten Stichproben entwickeln wir VideoChat-R1, ein leistungsstarkes Video-MLLM, das Spitzenleistungen bei räumlich-zeitlichen Wahrnehmungsaufgaben erzielt, ohne die Chat-Fähigkeit zu opfern, und dabei aufkeimende räumlich-zeitliche Denkfähigkeiten zeigt. Im Vergleich zu Qwen2.5-VL-7B steigert VideoChat-R1 die Leistung um ein Vielfaches bei Aufgaben wie zeitlicher Verankerung (+31,8) und Objektverfolgung (+31,2). Zudem verbessert es sich signifikant bei allgemeinen QA-Benchmarks wie VideoMME (+0,9), MVBench (+1,0) und Perception Test (+0,9). Unsere Ergebnisse unterstreichen das Potenzial von RFT für die spezialisierte Aufgabenverbesserung von Video-MLLMs. Wir hoffen, dass unsere Arbeit wertvolle Einblicke für zukünftige RL-Forschung in Video-MLLMs bietet.

English

Recent advancements in reinforcement learning have significantly advanced the reasoning capabilities of multimodal large language models (MLLMs). While approaches such as Group Relative Policy Optimization (GRPO) and rule-based reward mechanisms demonstrate promise in text and image domains, their application to video understanding remains limited. This paper presents a systematic exploration of Reinforcement Fine-Tuning (RFT) with GRPO for video MLLMs, aiming to enhance spatio-temporal perception while maintaining general capabilities. Our experiments reveal that RFT is highly data-efficient for task-specific improvements. Through multi-task RFT on spatio-temporal perception objectives with limited samples, we develop VideoChat-R1, a powerful video MLLM that achieves state-of-the-art performance on spatio-temporal perception tasks without sacrificing chat ability, while exhibiting emerging spatio-temporal reasoning abilities. Compared to Qwen2.5-VL-7B, VideoChat-R1 boosts performance several-fold in tasks like temporal grounding (+31.8) and object tracking (+31.2). Additionally, it significantly improves on general QA benchmarks such as VideoMME (+0.9), MVBench (+1.0), and Perception Test (+0.9). Our findings underscore the potential of RFT for specialized task enhancement of Video MLLMs. We hope our work offers valuable insights for future RL research in video MLLMs.