UniVG-R1: Fundamentación Visual Universal Guiada por Razonamiento con Aprendizaje por Refuerzo

UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning

May 20, 2025

Autores: Sule Bai, Mingxing Li, Yong Liu, Jing Tang, Haoji Zhang, Lei Sun, Xiangxiang Chu, Yansong Tang

cs.AI

Resumen

Los métodos tradicionales de anclaje visual se centran principalmente en escenarios de una sola imagen con referencias textuales simples. Sin embargo, extender estos métodos a escenarios del mundo real que involucran instrucciones implícitas y complejas, particularmente en conjunción con múltiples imágenes, presenta desafíos significativos, principalmente debido a la falta de capacidad avanzada de razonamiento en contextos multimodales diversos. En este trabajo, nuestro objetivo es abordar la tarea más práctica de anclaje universal, y proponemos UniVG-R1, un modelo de lenguaje multimodal (MLLM) guiado por razonamiento para anclaje visual universal, que mejora las capacidades de razonamiento mediante aprendizaje por refuerzo (RL) combinado con datos de arranque en frío. Específicamente, primero construimos un conjunto de datos de anclaje de Cadena de Pensamiento (CoT) de alta calidad, anotado con cadenas de razonamiento detalladas, para guiar al modelo hacia rutas de razonamiento correctas mediante ajuste fino supervisado. Posteriormente, realizamos aprendizaje por refuerzo basado en reglas para alentar al modelo a identificar cadenas de razonamiento correctas, incentivando así sus capacidades de razonamiento. Además, identificamos un sesgo de dificultad que surge debido a la prevalencia de muestras fáciles a medida que avanza el entrenamiento con RL, y proponemos una estrategia de ajuste de pesos consciente de la dificultad para fortalecer aún más el rendimiento. Los resultados experimentales demuestran la efectividad de UniVG-R1, que logra un rendimiento de vanguardia en MIG-Bench con una mejora del 9.1% sobre el método anterior. Además, nuestro modelo exhibe una fuerte generalización, logrando una mejora promedio del 23.4% en el rendimiento zero-shot en cuatro benchmarks de anclaje de razonamiento en imágenes y videos. La página del proyecto se puede acceder en https://amap-ml.github.io/UniVG-R1-page/.

English

Traditional visual grounding methods primarily focus on single-image scenarios with simple textual references. However, extending these methods to real-world scenarios that involve implicit and complex instructions, particularly in conjunction with multiple images, poses significant challenges, which is mainly due to the lack of advanced reasoning ability across diverse multi-modal contexts. In this work, we aim to address the more practical universal grounding task, and propose UniVG-R1, a reasoning guided multimodal large language model (MLLM) for universal visual grounding, which enhances reasoning capabilities through reinforcement learning (RL) combined with cold-start data. Specifically, we first construct a high-quality Chain-of-Thought (CoT) grounding dataset, annotated with detailed reasoning chains, to guide the model towards correct reasoning paths via supervised fine-tuning. Subsequently, we perform rule-based reinforcement learning to encourage the model to identify correct reasoning chains, thereby incentivizing its reasoning capabilities. In addition, we identify a difficulty bias arising from the prevalence of easy samples as RL training progresses, and we propose a difficulty-aware weight adjustment strategy to further strengthen the performance. Experimental results demonstrate the effectiveness of UniVG-R1, which achieves state-of-the-art performance on MIG-Bench with a 9.1% improvement over the previous method. Furthermore, our model exhibits strong generalizability, achieving an average improvement of 23.4% in zero-shot performance across four image and video reasoning grounding benchmarks. The project page can be accessed at https://amap-ml.github.io/UniVG-R1-page/.