Visionary-R1 : Atténuation des raccourcis dans le raisonnement visuel grâce à l'apprentissage par renforcement

Visionary-R1: Mitigating Shortcuts in Visual Reasoning with Reinforcement Learning

May 20, 2025

Auteurs: Jiaer Xia, Yuhang Zang, Peng Gao, Yixuan Li, Kaiyang Zhou

cs.AI

Résumé

L'apprentissage de capacités de raisonnement générales constitue depuis longtemps un défi majeur en intelligence artificielle. Les recherches récentes sur les grands modèles de langage (LLMs), tels que DeepSeek-R1, ont démontré que des techniques d'apprentissage par renforcement comme GRPO permettent à des LLMs pré-entraînés de développer des capacités de raisonnement à partir de simples paires question-réponse. Dans cet article, nous visons à entraîner des modèles de langage visuel (VLMs) à effectuer un raisonnement sur des données d'images grâce à l'apprentissage par renforcement et à des paires question-réponse visuelles, sans aucune supervision explicite de chaîne de pensée (CoT). Nos résultats indiquent que l'application simple de l'apprentissage par renforcement à un VLM -- en incitant le modèle à produire une chaîne de raisonnement avant de fournir une réponse -- peut conduire le modèle à développer des raccourcis à partir de questions faciles, réduisant ainsi sa capacité à généraliser sur des distributions de données inédites. Nous soutenons que la clé pour atténuer l'apprentissage par raccourci consiste à encourager le modèle à interpréter les images avant de raisonner. Par conséquent, nous entraînons le modèle à respecter un format de sortie description-raisonnement-réponse : générer d'abord une description détaillée de l'image, puis construire une chaîne de raisonnement approfondie. Lorsqu'il est entraîné sur 273K paires question-réponse visuelles sans CoT et en utilisant uniquement l'apprentissage par renforcement, notre modèle, nommé Visionary-R1, surpasse des modèles multimodaux puissants, tels que GPT-4o, Claude3.5-Sonnet et Gemini-1.5-Pro, sur plusieurs benchmarks de raisonnement visuel.

English

Learning general-purpose reasoning capabilities has long been a challenging problem in AI. Recent research in large language models (LLMs), such as DeepSeek-R1, has shown that reinforcement learning techniques like GRPO can enable pre-trained LLMs to develop reasoning capabilities using simple question-answer pairs. In this paper, we aim to train visual language models (VLMs) to perform reasoning on image data through reinforcement learning and visual question-answer pairs, without any explicit chain-of-thought (CoT) supervision. Our findings indicate that simply applying reinforcement learning to a VLM -- by prompting the model to produce a reasoning chain before providing an answer -- can lead the model to develop shortcuts from easy questions, thereby reducing its ability to generalize across unseen data distributions. We argue that the key to mitigating shortcut learning is to encourage the model to interpret images prior to reasoning. Therefore, we train the model to adhere to a caption-reason-answer output format: initially generating a detailed caption for an image, followed by constructing an extensive reasoning chain. When trained on 273K CoT-free visual question-answer pairs and using only reinforcement learning, our model, named Visionary-R1, outperforms strong multimodal models, such as GPT-4o, Claude3.5-Sonnet, and Gemini-1.5-Pro, on multiple visual reasoning benchmarks.