TempSamp-R1: Amostragem Temporal Eficaz com Ajuste Fino por Reforço para LLMs de Vídeo

TempSamp-R1: Effective Temporal Sampling with Reinforcement Fine-Tuning for Video LLMs

September 22, 2025

Autores: Yunheng Li, Jing Cheng, Shaoyong Jia, Hangyi Kuang, Shaohui Jiao, Qibin Hou, Ming-Ming Cheng

cs.AI

Resumo

Este artigo apresenta o TempSamp-R1, um novo framework de ajuste fino por reforço projetado para melhorar a eficácia da adaptação de modelos de linguagem multimodal de grande escala (MLLMs) para tarefas de localização temporal em vídeos. Revelamos que os métodos existentes de aprendizado por reforço, como o Group Relative Policy Optimization (GRPO), dependem de amostragem on-policy para atualizações de política. No entanto, em tarefas com grandes espaços de busca temporal, essa estratégia se torna ineficiente e limitada em desempenho, pois frequentemente falha em identificar soluções temporalmente precisas. Para superar essa limitação, o TempSamp-R1 utiliza anotações de ground-truth como supervisão off-policy para fornecer orientação temporalmente precisa, compensando efetivamente a escassez e o desalinhamento nas soluções on-policy. Para estabilizar ainda mais o treinamento e reduzir a variância nas atualizações baseadas em recompensa, o TempSamp-R1 oferece um método de cálculo de vantagem suave não linear que remodela dinamicamente o feedback de recompensa por meio de uma transformação assimétrica. Ao empregar um paradigma híbrido de treinamento Chain-of-Thought (CoT), o TempSamp-R1 otimiza um único modelo unificado para suportar tanto modos de inferência CoT quanto não-CoT, permitindo o tratamento eficiente de consultas com diferentes complexidades de raciocínio. Os resultados experimentais demonstram que o TempSamp-R1 supera as baselines baseadas em GRPO, estabelecendo novos recordes de desempenho em conjuntos de dados de referência: Charades-STA (R1@0.7: 52,9%, +2,7%), ActivityNet Captions (R1@0.5: 56,0%, +5,3%) e QVHighlights (mAP: 30,0%, +3,0%). Além disso, o TempSamp-R1 mostra capacidades robustas de generalização few-shot com dados limitados. Código: https://github.com/HVision-NKU/TempSamp-R1

English

This paper introduces TempSamp-R1, a new reinforcement fine-tuning framework designed to improve the effectiveness of adapting multimodal large language models (MLLMs) to video temporal grounding tasks. We reveal that existing reinforcement learning methods, such as Group Relative Policy Optimization (GRPO), rely on on-policy sampling for policy updates. However, in tasks with large temporal search spaces, this strategy becomes both inefficient and limited in performance, as it often fails to identify temporally accurate solutions. To address this limitation, TempSamp-R1 leverages ground-truth annotations as off-policy supervision to provide temporally precise guidance, effectively compensating for the sparsity and misalignment in on-policy solutions. To further stabilize training and reduce variance in reward-based updates, TempSamp-R1 provides a non-linear soft advantage computation method that dynamically reshapes the reward feedback via an asymmetric transformation. By employing a hybrid Chain-of-Thought (CoT) training paradigm, TempSamp-R1 optimizes a single unified model to support both CoT and non-CoT inference modes, enabling efficient handling of queries with varying reasoning complexity. Experimental results demonstrate that TempSamp-R1 outperforms GRPO-based baselines, establishing new state-of-the-art performance on benchmark datasets: Charades-STA (R1@0.7: 52.9%, +2.7%), ActivityNet Captions (R1@0.5: 56.0%, +5.3%), and QVHighlights (mAP: 30.0%, +3.0%). Moreover, TempSamp-R1 shows robust few-shot generalization capabilities under limited data. Code: https://github.com/HVision-NKU/TempSamp-R1