UniVG-R1: Универсальное визуальное закрепление с управлением рассуждениями и обучением с подкреплением

UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning

May 20, 2025

Авторы: Sule Bai, Mingxing Li, Yong Liu, Jing Tang, Haoji Zhang, Lei Sun, Xiangxiang Chu, Yansong Tang

cs.AI

Аннотация

Традиционные методы визуального заземления в основном сосредоточены на сценариях с одним изображением и простыми текстовыми ссылками. Однако расширение этих методов на реальные сценарии, которые включают неявные и сложные инструкции, особенно в сочетании с несколькими изображениями, представляет значительные трудности, что в основном связано с отсутствием развитых способностей к рассуждению в разнообразных мультимодальных контекстах. В данной работе мы стремимся решить более практическую задачу универсального заземления и предлагаем UniVG-R1 — мультимодальную большую языковую модель (MLLM) с управляемым рассуждением для универсального визуального заземления, которая улучшает способности к рассуждению с помощью обучения с подкреплением (RL) в сочетании с данными "холодного старта". В частности, мы сначала создаем высококачественный набор данных для заземления с цепочкой рассуждений (Chain-of-Thought, CoT), аннотированный подробными цепочками рассуждений, чтобы направлять модель на правильные пути рассуждения с помощью контролируемой тонкой настройки. Затем мы применяем обучение с подкреплением на основе правил, чтобы побудить модель идентифицировать правильные цепочки рассуждений, тем самым стимулируя ее способности к рассуждению. Кроме того, мы выявляем смещение сложности, возникающее из-за преобладания простых примеров по мере прогресса обучения с подкреплением, и предлагаем стратегию адаптации весов с учетом сложности для дальнейшего улучшения производительности. Экспериментальные результаты демонстрируют эффективность UniVG-R1, которая достигает наилучших результатов на MIG-Bench с улучшением на 9,1% по сравнению с предыдущим методом. Более того, наша модель демонстрирует сильную обобщаемость, достигая среднего улучшения на 23,4% в производительности при нулевом обучении на четырех бенчмарках для заземления рассуждений на изображениях и видео. Страницу проекта можно найти по адресу https://amap-ml.github.io/UniVG-R1-page/.

English

Traditional visual grounding methods primarily focus on single-image scenarios with simple textual references. However, extending these methods to real-world scenarios that involve implicit and complex instructions, particularly in conjunction with multiple images, poses significant challenges, which is mainly due to the lack of advanced reasoning ability across diverse multi-modal contexts. In this work, we aim to address the more practical universal grounding task, and propose UniVG-R1, a reasoning guided multimodal large language model (MLLM) for universal visual grounding, which enhances reasoning capabilities through reinforcement learning (RL) combined with cold-start data. Specifically, we first construct a high-quality Chain-of-Thought (CoT) grounding dataset, annotated with detailed reasoning chains, to guide the model towards correct reasoning paths via supervised fine-tuning. Subsequently, we perform rule-based reinforcement learning to encourage the model to identify correct reasoning chains, thereby incentivizing its reasoning capabilities. In addition, we identify a difficulty bias arising from the prevalence of easy samples as RL training progresses, and we propose a difficulty-aware weight adjustment strategy to further strengthen the performance. Experimental results demonstrate the effectiveness of UniVG-R1, which achieves state-of-the-art performance on MIG-Bench with a 9.1% improvement over the previous method. Furthermore, our model exhibits strong generalizability, achieving an average improvement of 23.4% in zero-shot performance across four image and video reasoning grounding benchmarks. The project page can be accessed at https://amap-ml.github.io/UniVG-R1-page/.