UniVG-R1: Universelle visuelle Verankerung mit Verstärkungslernen und Reasoning-Leitfaden

UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning

May 20, 2025

Autoren: Sule Bai, Mingxing Li, Yong Liu, Jing Tang, Haoji Zhang, Lei Sun, Xiangxiang Chu, Yansong Tang

cs.AI

Zusammenfassung

Traditionelle Methoden zur visuellen Verankerung konzentrieren sich hauptsächlich auf Szenarien mit Einzelbildern und einfachen textuellen Referenzen. Die Erweiterung dieser Methoden auf reale Szenarien, die implizite und komplexe Anweisungen beinhalten, insbesondere in Verbindung mit mehreren Bildern, stellt jedoch erhebliche Herausforderungen dar. Dies ist vor allem auf den Mangel an fortgeschrittenen Fähigkeiten zur Schlussfolgerung in diversen multimodalen Kontexten zurückzuführen. In dieser Arbeit zielen wir darauf ab, die praktischere universelle Verankerungsaufgabe zu adressieren, und schlagen UniVG-R1 vor, ein durch Schlussfolgerungen geleitetes multimodales großes Sprachmodell (MLLM) für die universelle visuelle Verankerung, das die Fähigkeiten zur Schlussfolgerung durch Reinforcement Learning (RL) in Kombination mit Cold-Start-Daten verbessert. Konkret konstruieren wir zunächst einen hochwertigen Chain-of-Thought (CoT) Verankerungsdatensatz, der mit detaillierten Schlussfolgerungsketten annotiert ist, um das Modell über überwachtes Fein-Tuning auf korrekte Schlussfolgerungspfade zu lenken. Anschließend führen wir regelbasiertes Reinforcement Learning durch, um das Modell dazu zu ermutigen, korrekte Schlussfolgerungsketten zu identifizieren und dadurch seine Fähigkeiten zur Schlussfolgerung zu fördern. Darüber hinaus identifizieren wir eine Schwierigkeitsverzerrung, die durch die Häufigkeit einfacher Proben im Verlauf des RL-Trainings entsteht, und schlagen eine schwierigkeitsbewusste Gewichtungsanpassungsstrategie vor, um die Leistung weiter zu stärken. Experimentelle Ergebnisse demonstrieren die Wirksamkeit von UniVG-R1, das auf MIG-Bench eine Spitzenleistung erzielt und eine Verbesserung von 9,1 % gegenüber der vorherigen Methode erreicht. Darüber hinaus zeigt unser Modell eine starke Generalisierbarkeit, mit einer durchschnittlichen Verbesserung von 23,4 % in der Zero-Shot-Leistung über vier Bild- und Video-Schlussfolgerungs-Verankerungs-Benchmarks hinweg. Die Projektseite kann unter https://amap-ml.github.io/UniVG-R1-page/ aufgerufen werden.

English

Traditional visual grounding methods primarily focus on single-image scenarios with simple textual references. However, extending these methods to real-world scenarios that involve implicit and complex instructions, particularly in conjunction with multiple images, poses significant challenges, which is mainly due to the lack of advanced reasoning ability across diverse multi-modal contexts. In this work, we aim to address the more practical universal grounding task, and propose UniVG-R1, a reasoning guided multimodal large language model (MLLM) for universal visual grounding, which enhances reasoning capabilities through reinforcement learning (RL) combined with cold-start data. Specifically, we first construct a high-quality Chain-of-Thought (CoT) grounding dataset, annotated with detailed reasoning chains, to guide the model towards correct reasoning paths via supervised fine-tuning. Subsequently, we perform rule-based reinforcement learning to encourage the model to identify correct reasoning chains, thereby incentivizing its reasoning capabilities. In addition, we identify a difficulty bias arising from the prevalence of easy samples as RL training progresses, and we propose a difficulty-aware weight adjustment strategy to further strengthen the performance. Experimental results demonstrate the effectiveness of UniVG-R1, which achieves state-of-the-art performance on MIG-Bench with a 9.1% improvement over the previous method. Furthermore, our model exhibits strong generalizability, achieving an average improvement of 23.4% in zero-shot performance across four image and video reasoning grounding benchmarks. The project page can be accessed at https://amap-ml.github.io/UniVG-R1-page/.