TempSamp-R1: Effectieve Temporele Steekproefname met Reinforcement Fine-Tuning voor Video LLM's

TempSamp-R1: Effective Temporal Sampling with Reinforcement Fine-Tuning for Video LLMs

September 22, 2025

Auteurs: Yunheng Li, Jing Cheng, Shaoyong Jia, Hangyi Kuang, Shaohui Jiao, Qibin Hou, Ming-Ming Cheng

cs.AI

Samenvatting

Dit artikel introduceert TempSamp-R1, een nieuw reinforcement fine-tuning framework dat is ontworpen om de effectiviteit van het aanpassen van multimodale grote taalmodellen (MLLMs) aan video-temporele grondslagstaken te verbeteren. We tonen aan dat bestaande reinforcement learning-methoden, zoals Group Relative Policy Optimization (GRPO), vertrouwen op on-policy sampling voor beleidsupdates. Echter, bij taken met grote temporele zoekruimtes wordt deze strategie zowel inefficiënt als beperkt in prestaties, omdat het vaak niet in staat is temporeel nauwkeurige oplossingen te identificeren. Om deze beperking aan te pakken, maakt TempSamp-R1 gebruik van grondwaarheidannotaties als off-policy supervisie om temporeel precieze begeleiding te bieden, waardoor de schaarste en uitlijning in on-policy oplossingen effectief worden gecompenseerd. Om de training verder te stabiliseren en de variantie in beloningsgebaseerde updates te verminderen, biedt TempSamp-R1 een niet-lineaire soft advantage-berekeningsmethode die de beloningsfeedback dynamisch hervormt via een asymmetrische transformatie. Door een hybride Chain-of-Thought (CoT) trainingsparadigma te gebruiken, optimaliseert TempSamp-R1 een enkel verenigd model om zowel CoT- als niet-CoT-inferentiemodi te ondersteunen, waardoor efficiënte verwerking van queries met variërende redeneercomplexiteit mogelijk wordt. Experimentele resultaten tonen aan dat TempSamp-R1 GRPO-gebaseerde baselines overtreft en nieuwe state-of-the-art prestaties op benchmarkdatasets vestigt: Charades-STA (R1@0.7: 52.9%, +2.7%), ActivityNet Captions (R1@0.5: 56.0%, +5.3%), en QVHighlights (mAP: 30.0%, +3.0%). Bovendien toont TempSamp-R1 robuuste few-shot generalisatiecapaciteiten onder beperkte data. Code: https://github.com/HVision-NKU/TempSamp-R1

English

This paper introduces TempSamp-R1, a new reinforcement fine-tuning framework designed to improve the effectiveness of adapting multimodal large language models (MLLMs) to video temporal grounding tasks. We reveal that existing reinforcement learning methods, such as Group Relative Policy Optimization (GRPO), rely on on-policy sampling for policy updates. However, in tasks with large temporal search spaces, this strategy becomes both inefficient and limited in performance, as it often fails to identify temporally accurate solutions. To address this limitation, TempSamp-R1 leverages ground-truth annotations as off-policy supervision to provide temporally precise guidance, effectively compensating for the sparsity and misalignment in on-policy solutions. To further stabilize training and reduce variance in reward-based updates, TempSamp-R1 provides a non-linear soft advantage computation method that dynamically reshapes the reward feedback via an asymmetric transformation. By employing a hybrid Chain-of-Thought (CoT) training paradigm, TempSamp-R1 optimizes a single unified model to support both CoT and non-CoT inference modes, enabling efficient handling of queries with varying reasoning complexity. Experimental results demonstrate that TempSamp-R1 outperforms GRPO-based baselines, establishing new state-of-the-art performance on benchmark datasets: Charades-STA (R1@0.7: 52.9%, +2.7%), ActivityNet Captions (R1@0.5: 56.0%, +5.3%), and QVHighlights (mAP: 30.0%, +3.0%). Moreover, TempSamp-R1 shows robust few-shot generalization capabilities under limited data. Code: https://github.com/HVision-NKU/TempSamp-R1