Visionary-R1: Vermeidung von Abkürzungen im visuellen Denken durch Reinforcement Learning

Visionary-R1: Mitigating Shortcuts in Visual Reasoning with Reinforcement Learning

May 20, 2025

Autoren: Jiaer Xia, Yuhang Zang, Peng Gao, Yixuan Li, Kaiyang Zhou

cs.AI

Zusammenfassung

Die Entwicklung allgemeiner Fähigkeiten zum logischen Denken stellt seit langem eine Herausforderung in der KI-Forschung dar. Aktuelle Studien zu großen Sprachmodellen (LLMs), wie DeepSeek-R1, haben gezeigt, dass Reinforcement-Learning-Techniken wie GRPO vortrainierte LLMs dazu befähigen können, logische Fähigkeiten anhand einfacher Frage-Antwort-Paare zu entwickeln. In diesem Artikel streben wir an, visuelle Sprachmodelle (VLMs) durch Reinforcement Learning und visuelle Frage-Antwort-Paare darauf zu trainieren, logisches Denken auf Bilddaten anzuwenden, ohne explizite Chain-of-Thought (CoT)-Überwachung. Unsere Ergebnisse zeigen, dass die einfache Anwendung von Reinforcement Learning auf ein VLM – indem das Modell dazu aufgefordert wird, eine Denkkette zu erstellen, bevor es eine Antwort liefert – dazu führen kann, dass das Modell Abkürzungen bei einfachen Fragen entwickelt und dadurch seine Fähigkeit zur Generalisierung auf unbekannte Datenverteilungen verringert. Wir argumentieren, dass der Schlüssel zur Vermeidung von Abkürzungslernen darin besteht, das Modell dazu zu ermutigen, Bilder vor dem logischen Denken zu interpretieren. Daher trainieren wir das Modell, sich an ein Beschreibung-Denken-Antwort-Ausgabeformat zu halten: Zunächst wird eine detaillierte Beschreibung für ein Bild generiert, gefolgt von der Konstruktion einer umfangreichen Denkkette. Wenn unser Modell, Visionary-R1, auf 273K CoT-freien visuellen Frage-Antwort-Paaren trainiert wird und dabei ausschließlich Reinforcement Learning verwendet, übertrifft es starke multimodale Modelle wie GPT-4o, Claude3.5-Sonnet und Gemini-1.5-Pro in mehreren Benchmarks für visuelles logisches Denken.

English

Learning general-purpose reasoning capabilities has long been a challenging problem in AI. Recent research in large language models (LLMs), such as DeepSeek-R1, has shown that reinforcement learning techniques like GRPO can enable pre-trained LLMs to develop reasoning capabilities using simple question-answer pairs. In this paper, we aim to train visual language models (VLMs) to perform reasoning on image data through reinforcement learning and visual question-answer pairs, without any explicit chain-of-thought (CoT) supervision. Our findings indicate that simply applying reinforcement learning to a VLM -- by prompting the model to produce a reasoning chain before providing an answer -- can lead the model to develop shortcuts from easy questions, thereby reducing its ability to generalize across unseen data distributions. We argue that the key to mitigating shortcut learning is to encourage the model to interpret images prior to reasoning. Therefore, we train the model to adhere to a caption-reason-answer output format: initially generating a detailed caption for an image, followed by constructing an extensive reasoning chain. When trained on 273K CoT-free visual question-answer pairs and using only reinforcement learning, our model, named Visionary-R1, outperforms strong multimodal models, such as GPT-4o, Claude3.5-Sonnet, and Gemini-1.5-Pro, on multiple visual reasoning benchmarks.