VideoChat-R1: Miglioramento della percezione spazio-temporale tramite fine-tuning con rinforzo

VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning

April 9, 2025

Autori: Xinhao Li, Ziang Yan, Desen Meng, Lu Dong, Xiangyu Zeng, Yinan He, Yali Wang, Yu Qiao, Yi Wang, Limin Wang

cs.AI

Abstract

I recenti progressi nell'apprendimento per rinforzo hanno significativamente migliorato le capacità di ragionamento dei modelli linguistici multimodali di grandi dimensioni (MLLM). Sebbene approcci come l'ottimizzazione delle politiche relative al gruppo (GRPO) e i meccanismi di ricompensa basati su regole dimostrino promesse nei domini di testo e immagini, la loro applicazione alla comprensione video rimane limitata. Questo articolo presenta un'esplorazione sistematica del Fine-Tuning per Rinforzo (RFT) con GRPO per MLLM video, con l'obiettivo di migliorare la percezione spazio-temporale mantenendo le capacità generali. I nostri esperimenti rivelano che l'RFT è altamente efficiente in termini di dati per miglioramenti specifici del compito. Attraverso l'RFT multi-task su obiettivi di percezione spazio-temporale con campioni limitati, sviluppiamo VideoChat-R1, un potente MLLM video che raggiunge prestazioni all'avanguardia nei compiti di percezione spazio-temporale senza sacrificare la capacità di chat, mostrando al contempo emergenti capacità di ragionamento spazio-temporale. Rispetto a Qwen2.5-VL-7B, VideoChat-R1 aumenta le prestazioni di diverse volte in compiti come il grounding temporale (+31.8) e il tracciamento degli oggetti (+31.2). Inoltre, migliora significativamente nei benchmark generali di QA come VideoMME (+0.9), MVBench (+1.0) e Perception Test (+0.9). I nostri risultati sottolineano il potenziale dell'RFT per il miglioramento specifico dei compiti degli MLLM video. Speriamo che il nostro lavoro offra spunti preziosi per future ricerche sull'apprendimento per rinforzo negli MLLM video.

English

Recent advancements in reinforcement learning have significantly advanced the reasoning capabilities of multimodal large language models (MLLMs). While approaches such as Group Relative Policy Optimization (GRPO) and rule-based reward mechanisms demonstrate promise in text and image domains, their application to video understanding remains limited. This paper presents a systematic exploration of Reinforcement Fine-Tuning (RFT) with GRPO for video MLLMs, aiming to enhance spatio-temporal perception while maintaining general capabilities. Our experiments reveal that RFT is highly data-efficient for task-specific improvements. Through multi-task RFT on spatio-temporal perception objectives with limited samples, we develop VideoChat-R1, a powerful video MLLM that achieves state-of-the-art performance on spatio-temporal perception tasks without sacrificing chat ability, while exhibiting emerging spatio-temporal reasoning abilities. Compared to Qwen2.5-VL-7B, VideoChat-R1 boosts performance several-fold in tasks like temporal grounding (+31.8) and object tracking (+31.2). Additionally, it significantly improves on general QA benchmarks such as VideoMME (+0.9), MVBench (+1.0), and Perception Test (+0.9). Our findings underscore the potential of RFT for specialized task enhancement of Video MLLMs. We hope our work offers valuable insights for future RL research in video MLLMs.