UniVG-R1 : Ancrage Visuel Universel Guidé par le Raisonnement avec Apprentissage par Renforcement

UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning

May 20, 2025

Auteurs: Sule Bai, Mingxing Li, Yong Liu, Jing Tang, Haoji Zhang, Lei Sun, Xiangxiang Chu, Yansong Tang

cs.AI

Résumé

Les méthodes traditionnelles de localisation visuelle se concentrent principalement sur des scénarios à image unique avec des références textuelles simples. Cependant, l'extension de ces méthodes à des scénarios réels impliquant des instructions implicites et complexes, en particulier en conjonction avec plusieurs images, pose des défis importants, principalement en raison du manque de capacité de raisonnement avancé dans des contextes multi-modaux divers. Dans ce travail, nous visons à aborder la tâche plus pratique de localisation universelle, et proposons UniVG-R1, un modèle de langage multimodal (MLLM) guidé par le raisonnement pour la localisation visuelle universelle, qui améliore les capacités de raisonnement grâce à l'apprentissage par renforcement (RL) combiné à des données de démarrage à froid. Plus précisément, nous construisons d'abord un ensemble de données de localisation de type Chain-of-Thought (CoT) de haute qualité, annoté avec des chaînes de raisonnement détaillées, pour guider le modèle vers des chemins de raisonnement corrects via un ajustement fin supervisé. Ensuite, nous effectuons un apprentissage par renforcement basé sur des règles pour encourager le modèle à identifier les chaînes de raisonnement correctes, stimulant ainsi ses capacités de raisonnement. De plus, nous identifions un biais de difficulté résultant de la prévalence d'échantillons faciles au fur et à mesure que l'entraînement RL progresse, et nous proposons une stratégie d'ajustement de poids sensible à la difficulté pour renforcer davantage les performances. Les résultats expérimentaux démontrent l'efficacité d'UniVG-R1, qui atteint des performances de pointe sur MIG-Bench avec une amélioration de 9,1 % par rapport à la méthode précédente. En outre, notre modèle présente une forte généralisabilité, obtenant une amélioration moyenne de 23,4 % dans les performances en zero-shot sur quatre benchmarks de localisation de raisonnement sur images et vidéos. La page du projet est accessible à l'adresse https://amap-ml.github.io/UniVG-R1-page/.

English

Traditional visual grounding methods primarily focus on single-image scenarios with simple textual references. However, extending these methods to real-world scenarios that involve implicit and complex instructions, particularly in conjunction with multiple images, poses significant challenges, which is mainly due to the lack of advanced reasoning ability across diverse multi-modal contexts. In this work, we aim to address the more practical universal grounding task, and propose UniVG-R1, a reasoning guided multimodal large language model (MLLM) for universal visual grounding, which enhances reasoning capabilities through reinforcement learning (RL) combined with cold-start data. Specifically, we first construct a high-quality Chain-of-Thought (CoT) grounding dataset, annotated with detailed reasoning chains, to guide the model towards correct reasoning paths via supervised fine-tuning. Subsequently, we perform rule-based reinforcement learning to encourage the model to identify correct reasoning chains, thereby incentivizing its reasoning capabilities. In addition, we identify a difficulty bias arising from the prevalence of easy samples as RL training progresses, and we propose a difficulty-aware weight adjustment strategy to further strengthen the performance. Experimental results demonstrate the effectiveness of UniVG-R1, which achieves state-of-the-art performance on MIG-Bench with a 9.1% improvement over the previous method. Furthermore, our model exhibits strong generalizability, achieving an average improvement of 23.4% in zero-shot performance across four image and video reasoning grounding benchmarks. The project page can be accessed at https://amap-ml.github.io/UniVG-R1-page/.