TempSamp-R1: Эффективное временное семплирование с тонкой настройкой методом обучения с подкреплением для видеомоделей на основе больших языковых моделей

TempSamp-R1: Effective Temporal Sampling with Reinforcement Fine-Tuning for Video LLMs

September 22, 2025

Авторы: Yunheng Li, Jing Cheng, Shaoyong Jia, Hangyi Kuang, Shaohui Jiao, Qibin Hou, Ming-Ming Cheng

cs.AI

Аннотация

В данной статье представлен TempSamp-R1 — новый фреймворк для тонкой настройки с использованием обучения с подкреплением, предназначенный для повышения эффективности адаптации мультимодальных больших языковых моделей (MLLMs) к задачам временной локализации в видео. Мы показываем, что существующие методы обучения с подкреплением, такие как Group Relative Policy Optimization (GRPO), полагаются на on-policy сэмплирование для обновления политик. Однако в задачах с большими временными пространствами поиска эта стратегия становится неэффективной и ограниченной в производительности, так как часто не позволяет находить временно точные решения. Для устранения этого ограничения TempSamp-R1 использует аннотации ground-truth в качестве off-policy супервизии, обеспечивая временно точное руководство и эффективно компенсируя разреженность и несоответствия в on-policy решениях. Для дальнейшей стабилизации обучения и снижения дисперсии в обновлениях на основе наград TempSamp-R1 предлагает нелинейный метод вычисления мягкого преимущества, который динамически преобразует обратную связь по наградам с помощью асимметричного преобразования. Используя гибридную парадигму обучения Chain-of-Thought (CoT), TempSamp-R1 оптимизирует единую модель для поддержки как CoT, так и не-CoT режимов вывода, что позволяет эффективно обрабатывать запросы с различной сложностью рассуждений. Экспериментальные результаты демонстрируют, что TempSamp-R1 превосходит базовые методы на основе GRPO, устанавливая новые рекорды на эталонных наборах данных: Charades-STA (R1@0.7: 52.9%, +2.7%), ActivityNet Captions (R1@0.5: 56.0%, +5.3%) и QVHighlights (mAP: 30.0%, +3.0%). Кроме того, TempSamp-R1 демонстрирует устойчивые возможности обобщения в условиях ограниченных данных. Код: https://github.com/HVision-NKU/TempSamp-R1.

English

This paper introduces TempSamp-R1, a new reinforcement fine-tuning framework designed to improve the effectiveness of adapting multimodal large language models (MLLMs) to video temporal grounding tasks. We reveal that existing reinforcement learning methods, such as Group Relative Policy Optimization (GRPO), rely on on-policy sampling for policy updates. However, in tasks with large temporal search spaces, this strategy becomes both inefficient and limited in performance, as it often fails to identify temporally accurate solutions. To address this limitation, TempSamp-R1 leverages ground-truth annotations as off-policy supervision to provide temporally precise guidance, effectively compensating for the sparsity and misalignment in on-policy solutions. To further stabilize training and reduce variance in reward-based updates, TempSamp-R1 provides a non-linear soft advantage computation method that dynamically reshapes the reward feedback via an asymmetric transformation. By employing a hybrid Chain-of-Thought (CoT) training paradigm, TempSamp-R1 optimizes a single unified model to support both CoT and non-CoT inference modes, enabling efficient handling of queries with varying reasoning complexity. Experimental results demonstrate that TempSamp-R1 outperforms GRPO-based baselines, establishing new state-of-the-art performance on benchmark datasets: Charades-STA (R1@0.7: 52.9%, +2.7%), ActivityNet Captions (R1@0.5: 56.0%, +5.3%), and QVHighlights (mAP: 30.0%, +3.0%). Moreover, TempSamp-R1 shows robust few-shot generalization capabilities under limited data. Code: https://github.com/HVision-NKU/TempSamp-R1