UniVG-R1: Redeneren Gestuurd Universeel Visueel Gronden met Versterkend Leren

Samenvatting

Traditionele methoden voor visuele verankering richten zich voornamelijk op scenario's met één afbeelding en eenvoudige tekstuele verwijzingen. Het uitbreiden van deze methoden naar realistische scenario's die impliciete en complexe instructies omvatten, vooral in combinatie met meerdere afbeeldingen, brengt echter aanzienlijke uitdagingen met zich mee. Dit komt voornamelijk door het ontbreken van geavanceerd redeneervermogen in diverse multimodale contexten. In dit werk streven we ernaar om de meer praktische universele verankerings taak aan te pakken en stellen we UniVG-R1 voor, een redenering-gestuurd multimodaal groot taalmodel (MLLM) voor universele visuele verankering, dat redeneervermogen versterkt door middel van reinforcement learning (RL) in combinatie met cold-start data. Specifiek construeren we eerst een hoogwaardige Chain-of-Thought (CoT) verankeringsdataset, voorzien van gedetailleerde redeneerketens, om het model via supervised fine-tuning te begeleiden naar correcte redeneerpaden. Vervolgens voeren we regelgebaseerd reinforcement learning uit om het model aan te moedigen correcte redeneerketens te identificeren, waardoor het redeneervermogen wordt gestimuleerd. Daarnaast identificeren we een moeilijkheidsbias die ontstaat door de overvloed aan eenvoudige voorbeelden naarmate de RL-training vordert, en stellen we een moeilijkheidsbewuste gewichtsaanpassingsstrategie voor om de prestaties verder te versterken. Experimentele resultaten tonen de effectiviteit van UniVG-R1 aan, dat state-of-the-art prestaties behaalt op MIG-Bench met een verbetering van 9,1% ten opzichte van de vorige methode. Bovendien toont ons model sterke generaliseerbaarheid, met een gemiddelde verbetering van 23,4% in zero-shot prestaties over vier benchmarks voor beeld- en videoredeneringsverankering. De projectpagina is te vinden op https://amap-ml.github.io/UniVG-R1-page/.

English

Traditional visual grounding methods primarily focus on single-image scenarios with simple textual references. However, extending these methods to real-world scenarios that involve implicit and complex instructions, particularly in conjunction with multiple images, poses significant challenges, which is mainly due to the lack of advanced reasoning ability across diverse multi-modal contexts. In this work, we aim to address the more practical universal grounding task, and propose UniVG-R1, a reasoning guided multimodal large language model (MLLM) for universal visual grounding, which enhances reasoning capabilities through reinforcement learning (RL) combined with cold-start data. Specifically, we first construct a high-quality Chain-of-Thought (CoT) grounding dataset, annotated with detailed reasoning chains, to guide the model towards correct reasoning paths via supervised fine-tuning. Subsequently, we perform rule-based reinforcement learning to encourage the model to identify correct reasoning chains, thereby incentivizing its reasoning capabilities. In addition, we identify a difficulty bias arising from the prevalence of easy samples as RL training progresses, and we propose a difficulty-aware weight adjustment strategy to further strengthen the performance. Experimental results demonstrate the effectiveness of UniVG-R1, which achieves state-of-the-art performance on MIG-Bench with a 9.1% improvement over the previous method. Furthermore, our model exhibits strong generalizability, achieving an average improvement of 23.4% in zero-shot performance across four image and video reasoning grounding benchmarks. The project page can be accessed at https://amap-ml.github.io/UniVG-R1-page/.

UniVG-R1: Redeneren Gestuurd Universeel Visueel Gronden met Versterkend Leren

UniVG-R1: Reasoning Guided Universal Visual Grounding with Reinforcement Learning

Samenvatting

Support