Visionary-R1: Het beperken van shortcuts in visueel redeneren met reinforcement learning

Visionary-R1: Mitigating Shortcuts in Visual Reasoning with Reinforcement Learning

May 20, 2025

Auteurs: Jiaer Xia, Yuhang Zang, Peng Gao, Yixuan Li, Kaiyang Zhou

cs.AI

Samenvatting

Het aanleren van algemene redeneervaardigheden is al lang een uitdagend probleem in AI. Recent onderzoek naar grote taalmmodellen (LLMs), zoals DeepSeek-R1, heeft aangetoond dat versterkingsleertechnieken zoals GRPO vooraf getrainde LLMs in staat kunnen stellen redeneervaardigheden te ontwikkelen met behulp van eenvoudige vraag-antwoordparen. In dit artikel streven we ernaar om visuele taalmmodellen (VLMs) te trainen om redenering uit te voeren op beeldgegevens via versterkingsleren en visuele vraag-antwoordparen, zonder expliciete chain-of-thought (CoT) begeleiding. Onze bevindingen geven aan dat het simpelweg toepassen van versterkingsleren op een VLM — door het model aan te moedigen een redeneerketen te produceren voordat het een antwoord geeft — kan leiden tot het ontwikkelen van shortcuts vanuit eenvoudige vragen, waardoor het vermogen van het model om te generaliseren over onbekende gegevensverdelingen wordt verminderd. Wij stellen dat de sleutel tot het beperken van shortcut learning ligt in het aanmoedigen van het model om afbeeldingen te interpreteren voordat het gaat redeneren. Daarom trainen we het model om een caption-reason-answer uitvoerformaat aan te houden: eerst een gedetailleerde beschrijving van een afbeelding genereren, gevolgd door het opbouwen van een uitgebreide redeneerketen. Wanneer getraind op 273K CoT-vrije visuele vraag-antwoordparen en uitsluitend gebruikmakend van versterkingsleren, presteert ons model, genaamd Visionary-R1, beter dan sterke multimodale modellen, zoals GPT-4o, Claude3.5-Sonnet en Gemini-1.5-Pro, op meerdere visuele redeneerbenchmarks.

English

Learning general-purpose reasoning capabilities has long been a challenging problem in AI. Recent research in large language models (LLMs), such as DeepSeek-R1, has shown that reinforcement learning techniques like GRPO can enable pre-trained LLMs to develop reasoning capabilities using simple question-answer pairs. In this paper, we aim to train visual language models (VLMs) to perform reasoning on image data through reinforcement learning and visual question-answer pairs, without any explicit chain-of-thought (CoT) supervision. Our findings indicate that simply applying reinforcement learning to a VLM -- by prompting the model to produce a reasoning chain before providing an answer -- can lead the model to develop shortcuts from easy questions, thereby reducing its ability to generalize across unseen data distributions. We argue that the key to mitigating shortcut learning is to encourage the model to interpret images prior to reasoning. Therefore, we train the model to adhere to a caption-reason-answer output format: initially generating a detailed caption for an image, followed by constructing an extensive reasoning chain. When trained on 273K CoT-free visual question-answer pairs and using only reinforcement learning, our model, named Visionary-R1, outperforms strong multimodal models, such as GPT-4o, Claude3.5-Sonnet, and Gemini-1.5-Pro, on multiple visual reasoning benchmarks.