UniVG-R1：強化学習による推論ガイド型ユニバーサル視覚的グラウンディング

UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning

May 20, 2025

著者: Sule Bai, Mingxing Li, Yong Liu, Jing Tang, Haoji Zhang, Lei Sun, Xiangxiang Chu, Yansong Tang

cs.AI

要旨

従来の視覚的グラウンディング手法は、主に単一画像のシナリオと単純なテキスト参照に焦点を当ててきました。しかし、これらの手法を、暗黙的で複雑な指示を含む現実世界のシナリオ、特に複数の画像を組み合わせた場合に拡張することは、多様なマルチモーダルコンテキストにわたる高度な推論能力の欠如により、大きな課題となっています。本研究では、より実用的なユニバーサルグラウンディングタスクに取り組み、推論をガイドしたマルチモーダル大規模言語モデル（MLLM）であるUniVG-R1を提案します。このモデルは、強化学習（RL）とコールドスタートデータを組み合わせることで推論能力を強化します。具体的には、まず、詳細な推論チェーンを注釈付けた高品質なChain-of-Thought（CoT）グラウンディングデータセットを構築し、教師ありファインチューニングを通じてモデルが正しい推論パスを選択するよう導きます。その後、ルールベースの強化学習を行い、モデルが正しい推論チェーンを特定することを奨励し、その推論能力を向上させます。さらに、RLトレーニングが進むにつれて容易なサンプルが多くなることによる難易度バイアスを特定し、パフォーマンスをさらに強化するための難易度を考慮した重み調整戦略を提案します。実験結果は、UniVG-R1の有効性を示しており、MIG-Benchにおいて従来手法を9.1%上回る最先端の性能を達成しました。さらに、我々のモデルは強力な汎化能力を示し、4つの画像およびビデオ推論グラウンディングベンチマークにおいて、ゼロショット性能で平均23.4%の改善を達成しました。プロジェクトページはhttps://amap-ml.github.io/UniVG-R1-page/でアクセス可能です。

English

Traditional visual grounding methods primarily focus on single-image scenarios with simple textual references. However, extending these methods to real-world scenarios that involve implicit and complex instructions, particularly in conjunction with multiple images, poses significant challenges, which is mainly due to the lack of advanced reasoning ability across diverse multi-modal contexts. In this work, we aim to address the more practical universal grounding task, and propose UniVG-R1, a reasoning guided multimodal large language model (MLLM) for universal visual grounding, which enhances reasoning capabilities through reinforcement learning (RL) combined with cold-start data. Specifically, we first construct a high-quality Chain-of-Thought (CoT) grounding dataset, annotated with detailed reasoning chains, to guide the model towards correct reasoning paths via supervised fine-tuning. Subsequently, we perform rule-based reinforcement learning to encourage the model to identify correct reasoning chains, thereby incentivizing its reasoning capabilities. In addition, we identify a difficulty bias arising from the prevalence of easy samples as RL training progresses, and we propose a difficulty-aware weight adjustment strategy to further strengthen the performance. Experimental results demonstrate the effectiveness of UniVG-R1, which achieves state-of-the-art performance on MIG-Bench with a 9.1% improvement over the previous method. Furthermore, our model exhibits strong generalizability, achieving an average improvement of 23.4% in zero-shot performance across four image and video reasoning grounding benchmarks. The project page can be accessed at https://amap-ml.github.io/UniVG-R1-page/.