UniVG-R1: Ragionamento Guidato per il Grounding Visivo Universale con Apprendimento per Rinforzo

UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning

May 20, 2025

Autori: Sule Bai, Mingxing Li, Yong Liu, Jing Tang, Haoji Zhang, Lei Sun, Xiangxiang Chu, Yansong Tang

cs.AI

Abstract

I metodi tradizionali di grounding visivo si concentrano principalmente su scenari a immagine singola con riferimenti testuali semplici. Tuttavia, estendere questi metodi a scenari del mondo reale che coinvolgono istruzioni implicite e complesse, specialmente in combinazione con più immagini, presenta sfide significative, principalmente a causa della mancanza di capacità di ragionamento avanzato in contesti multimodali diversi. In questo lavoro, miriamo a affrontare il compito più pratico del grounding universale e proponiamo UniVG-R1, un modello linguistico multimodale di grandi dimensioni (MLLM) guidato dal ragionamento per il grounding visivo universale, che migliora le capacità di ragionamento attraverso l'apprendimento per rinforzo (RL) combinato con dati di cold-start. Nello specifico, costruiamo prima un dataset di grounding Chain-of-Thought (CoT) di alta qualità, annotato con catene di ragionamento dettagliate, per guidare il modello verso percorsi di ragionamento corretti tramite fine-tuning supervisionato. Successivamente, eseguiamo un apprendimento per rinforzo basato su regole per incoraggiare il modello a identificare catene di ragionamento corrette, incentivando così le sue capacità di ragionamento. Inoltre, identifichiamo un bias di difficoltà derivante dalla prevalenza di campioni facili man mano che l'addestramento RL progredisce, e proponiamo una strategia di aggiustamento del peso basata sulla difficoltà per rafforzare ulteriormente le prestazioni. I risultati sperimentali dimostrano l'efficacia di UniVG-R1, che raggiunge prestazioni all'avanguardia su MIG-Bench con un miglioramento del 9,1% rispetto al metodo precedente. Inoltre, il nostro modello mostra una forte generalizzabilità, ottenendo un miglioramento medio del 23,4% nelle prestazioni zero-shot su quattro benchmark di grounding di ragionamento su immagini e video. La pagina del progetto è accessibile all'indirizzo https://amap-ml.github.io/UniVG-R1-page/.

English

Traditional visual grounding methods primarily focus on single-image scenarios with simple textual references. However, extending these methods to real-world scenarios that involve implicit and complex instructions, particularly in conjunction with multiple images, poses significant challenges, which is mainly due to the lack of advanced reasoning ability across diverse multi-modal contexts. In this work, we aim to address the more practical universal grounding task, and propose UniVG-R1, a reasoning guided multimodal large language model (MLLM) for universal visual grounding, which enhances reasoning capabilities through reinforcement learning (RL) combined with cold-start data. Specifically, we first construct a high-quality Chain-of-Thought (CoT) grounding dataset, annotated with detailed reasoning chains, to guide the model towards correct reasoning paths via supervised fine-tuning. Subsequently, we perform rule-based reinforcement learning to encourage the model to identify correct reasoning chains, thereby incentivizing its reasoning capabilities. In addition, we identify a difficulty bias arising from the prevalence of easy samples as RL training progresses, and we propose a difficulty-aware weight adjustment strategy to further strengthen the performance. Experimental results demonstrate the effectiveness of UniVG-R1, which achieves state-of-the-art performance on MIG-Bench with a 9.1% improvement over the previous method. Furthermore, our model exhibits strong generalizability, achieving an average improvement of 23.4% in zero-shot performance across four image and video reasoning grounding benchmarks. The project page can be accessed at https://amap-ml.github.io/UniVG-R1-page/.