Visionary-R1: Mitigando Atalhos no Raciocínio Visual com Aprendizado por Reforço

Visionary-R1: Mitigating Shortcuts in Visual Reasoning with Reinforcement Learning

May 20, 2025

Autores: Jiaer Xia, Yuhang Zang, Peng Gao, Yixuan Li, Kaiyang Zhou

cs.AI

Resumo

O desenvolvimento de capacidades de raciocínio de propósito geral tem sido um problema desafiador na IA há muito tempo. Pesquisas recentes em modelos de linguagem de grande escala (LLMs), como o DeepSeek-R1, mostraram que técnicas de aprendizado por reforço, como o GRPO, podem permitir que LLMs pré-treinados desenvolvam capacidades de raciocínio usando pares simples de perguntas e respostas. Neste artigo, buscamos treinar modelos de linguagem visual (VLMs) para realizar raciocínio em dados de imagem por meio de aprendizado por reforço e pares de perguntas e respostas visuais, sem qualquer supervisão explícita de cadeia de pensamento (CoT). Nossas descobertas indicam que simplesmente aplicar aprendizado por reforço a um VLM — solicitando que o modelo produza uma cadeia de raciocínio antes de fornecer uma resposta — pode levar o modelo a desenvolver atalhos a partir de perguntas fáceis, reduzindo assim sua capacidade de generalização em distribuições de dados não vistas. Argumentamos que a chave para mitigar o aprendizado por atalhos é incentivar o modelo a interpretar as imagens antes de raciocinar. Portanto, treinamos o modelo para aderir a um formato de saída de legenda-raciocínio-resposta: inicialmente gerando uma legenda detalhada para uma imagem, seguida pela construção de uma cadeia de raciocínio extensa. Quando treinado em 273K pares de perguntas e respostas visuais sem CoT e usando apenas aprendizado por reforço, nosso modelo, denominado Visionary-R1, supera modelos multimodais robustos, como GPT-4o, Claude3.5-Sonnet e Gemini-1.5-Pro, em vários benchmarks de raciocínio visual.

English

Learning general-purpose reasoning capabilities has long been a challenging problem in AI. Recent research in large language models (LLMs), such as DeepSeek-R1, has shown that reinforcement learning techniques like GRPO can enable pre-trained LLMs to develop reasoning capabilities using simple question-answer pairs. In this paper, we aim to train visual language models (VLMs) to perform reasoning on image data through reinforcement learning and visual question-answer pairs, without any explicit chain-of-thought (CoT) supervision. Our findings indicate that simply applying reinforcement learning to a VLM -- by prompting the model to produce a reasoning chain before providing an answer -- can lead the model to develop shortcuts from easy questions, thereby reducing its ability to generalize across unseen data distributions. We argue that the key to mitigating shortcut learning is to encourage the model to interpret images prior to reasoning. Therefore, we train the model to adhere to a caption-reason-answer output format: initially generating a detailed caption for an image, followed by constructing an extensive reasoning chain. When trained on 273K CoT-free visual question-answer pairs and using only reinforcement learning, our model, named Visionary-R1, outperforms strong multimodal models, such as GPT-4o, Claude3.5-Sonnet, and Gemini-1.5-Pro, on multiple visual reasoning benchmarks.