UniVG-R1: Aterramento Visual Universal Guiado por Raciocínio com Aprendizado por Reforço

Resumo

Os métodos tradicionais de ancoragem visual concentram-se principalmente em cenários de imagem única com referências textuais simples. No entanto, estender esses métodos para cenários do mundo real que envolvem instruções implícitas e complexas, particularmente em conjunto com múltiplas imagens, apresenta desafios significativos, principalmente devido à falta de capacidade avançada de raciocínio em contextos multimodais diversos. Neste trabalho, visamos abordar a tarefa mais prática de ancoragem universal e propomos o UniVG-R1, um modelo de linguagem multimodal (MLLM) guiado por raciocínio para ancoragem visual universal, que aprimora as capacidades de raciocínio por meio de aprendizado por reforço (RL) combinado com dados de inicialização a frio. Especificamente, primeiro construímos um conjunto de dados de ancoragem de Chain-of-Thought (CoT) de alta qualidade, anotado com cadeias de raciocínio detalhadas, para guiar o modelo em direção a caminhos de raciocínio corretos por meio de ajuste fino supervisionado. Posteriormente, realizamos aprendizado por reforço baseado em regras para incentivar o modelo a identificar cadeias de raciocínio corretas, promovendo assim suas capacidades de raciocínio. Além disso, identificamos um viés de dificuldade decorrente da prevalência de amostras fáceis à medida que o treinamento de RL avança, e propomos uma estratégia de ajuste de peso consciente da dificuldade para fortalecer ainda mais o desempenho. Os resultados experimentais demonstram a eficácia do UniVG-R1, que alcança desempenho de ponta no MIG-Bench com uma melhoria de 9,1% em relação ao método anterior. Além disso, nosso modelo exibe forte generalização, alcançando uma melhoria média de 23,4% no desempenho zero-shot em quatro benchmarks de ancoragem de raciocínio em imagens e vídeos. A página do projeto pode ser acessada em https://amap-ml.github.io/UniVG-R1-page/.

English

Traditional visual grounding methods primarily focus on single-image scenarios with simple textual references. However, extending these methods to real-world scenarios that involve implicit and complex instructions, particularly in conjunction with multiple images, poses significant challenges, which is mainly due to the lack of advanced reasoning ability across diverse multi-modal contexts. In this work, we aim to address the more practical universal grounding task, and propose UniVG-R1, a reasoning guided multimodal large language model (MLLM) for universal visual grounding, which enhances reasoning capabilities through reinforcement learning (RL) combined with cold-start data. Specifically, we first construct a high-quality Chain-of-Thought (CoT) grounding dataset, annotated with detailed reasoning chains, to guide the model towards correct reasoning paths via supervised fine-tuning. Subsequently, we perform rule-based reinforcement learning to encourage the model to identify correct reasoning chains, thereby incentivizing its reasoning capabilities. In addition, we identify a difficulty bias arising from the prevalence of easy samples as RL training progresses, and we propose a difficulty-aware weight adjustment strategy to further strengthen the performance. Experimental results demonstrate the effectiveness of UniVG-R1, which achieves state-of-the-art performance on MIG-Bench with a 9.1% improvement over the previous method. Furthermore, our model exhibits strong generalizability, achieving an average improvement of 23.4% in zero-shot performance across four image and video reasoning grounding benchmarks. The project page can be accessed at https://amap-ml.github.io/UniVG-R1-page/.

UniVG-R1: Aterramento Visual Universal Guiado por Raciocínio com Aprendizado por Reforço

UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning

Resumo

Support