VideoChat-R1: Verbetering van Spatio-Temporele Waarneming via Reinforcement Fine-Tuning

VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning

April 9, 2025

Auteurs: Xinhao Li, Ziang Yan, Desen Meng, Lu Dong, Xiangyu Zeng, Yinan He, Yali Wang, Yu Qiao, Yi Wang, Limin Wang

cs.AI

Samenvatting

Recente vooruitgang in reinforcement learning heeft de redeneervaardigheden van multimodale grote taalmodellen (MLLMs) aanzienlijk verbeterd. Hoewel benaderingen zoals Group Relative Policy Optimization (GRPO) en regelgebaseerde beloningsmechanismen veelbelovend zijn in tekst- en beeld domeinen, blijft hun toepassing op videobegrip beperkt. Dit artikel presenteert een systematische verkenning van Reinforcement Fine-Tuning (RFT) met GRPO voor video MLLMs, met als doel het ruimtelijk-temporeel perceptievermogen te verbeteren terwijl algemene capaciteiten behouden blijven. Onze experimenten tonen aan dat RFT zeer data-efficiënt is voor taakspecifieke verbeteringen. Door middel van multi-task RFT op ruimtelijk-temporele perceptiedoelen met beperkte steekproeven, ontwikkelen we VideoChat-R1, een krachtige video MLLM die state-of-the-art prestaties behaalt op ruimtelijk-temporele perceptietaken zonder in te leveren op chatvaardigheden, terwijl het opkomende ruimtelijk-temporele redeneervaardigheden vertoont. Vergeleken met Qwen2.5-VL-7B, verbetert VideoChat-R1 de prestaties aanzienlijk in taken zoals temporele gronding (+31.8) en objecttracking (+31.2). Daarnaast presteert het aanzienlijk beter op algemene QA-benchmarks zoals VideoMME (+0.9), MVBench (+1.0) en Perception Test (+0.9). Onze bevindingen onderstrepen het potentieel van RFT voor gespecialiseerde taakverbetering van Video MLLMs. We hopen dat ons werk waardevolle inzichten biedt voor toekomstig RL-onderzoek in video MLLMs.

English

Recent advancements in reinforcement learning have significantly advanced the reasoning capabilities of multimodal large language models (MLLMs). While approaches such as Group Relative Policy Optimization (GRPO) and rule-based reward mechanisms demonstrate promise in text and image domains, their application to video understanding remains limited. This paper presents a systematic exploration of Reinforcement Fine-Tuning (RFT) with GRPO for video MLLMs, aiming to enhance spatio-temporal perception while maintaining general capabilities. Our experiments reveal that RFT is highly data-efficient for task-specific improvements. Through multi-task RFT on spatio-temporal perception objectives with limited samples, we develop VideoChat-R1, a powerful video MLLM that achieves state-of-the-art performance on spatio-temporal perception tasks without sacrificing chat ability, while exhibiting emerging spatio-temporal reasoning abilities. Compared to Qwen2.5-VL-7B, VideoChat-R1 boosts performance several-fold in tasks like temporal grounding (+31.8) and object tracking (+31.2). Additionally, it significantly improves on general QA benchmarks such as VideoMME (+0.9), MVBench (+1.0), and Perception Test (+0.9). Our findings underscore the potential of RFT for specialized task enhancement of Video MLLMs. We hope our work offers valuable insights for future RL research in video MLLMs.