Visionary-R1: Устранение упрощений в визуальном рассуждении с использованием обучения с подкреплением

Visionary-R1: Mitigating Shortcuts in Visual Reasoning with Reinforcement Learning

May 20, 2025

Авторы: Jiaer Xia, Yuhang Zang, Peng Gao, Yixuan Li, Kaiyang Zhou

cs.AI

Аннотация

Обучение моделей искусственного интеллекта (ИИ) способностям к обобщённому рассуждению долгое время оставалось сложной задачей. Недавние исследования в области больших языковых моделей (LLM), таких как DeepSeek-R1, показали, что методы обучения с подкреплением, такие как GRPO, могут позволить предварительно обученным LLM развивать способности к рассуждению с использованием простых пар вопрос-ответ. В данной работе мы стремимся обучить визуальные языковые модели (VLM) выполнять рассуждения на основе данных изображений с помощью обучения с подкреплением и визуальных пар вопрос-ответ, без явного контроля за цепочкой рассуждений (CoT). Наши результаты показывают, что простое применение обучения с подкреплением к VLM — путём запроса модели на создание цепочки рассуждений перед предоставлением ответа — может привести к тому, что модель будет использовать упрощённые пути для лёгких вопросов, что снижает её способность к обобщению на неизвестных распределениях данных. Мы утверждаем, что ключом к предотвращению упрощённого обучения является поощрение модели к интерпретации изображений до начала рассуждений. Поэтому мы обучаем модель следовать формату вывода "описание-рассуждение-ответ": сначала генерировать подробное описание изображения, а затем строить развёрнутую цепочку рассуждений. При обучении на 273 тыс. визуальных пар вопрос-ответ без CoT и использовании только обучения с подкреплением наша модель, названная Visionary-R1, превосходит мощные мультимодальные модели, такие как GPT-4o, Claude3.5-Sonnet и Gemini-1.5-Pro, на нескольких бенчмарках визуального рассуждения.

English

Learning general-purpose reasoning capabilities has long been a challenging problem in AI. Recent research in large language models (LLMs), such as DeepSeek-R1, has shown that reinforcement learning techniques like GRPO can enable pre-trained LLMs to develop reasoning capabilities using simple question-answer pairs. In this paper, we aim to train visual language models (VLMs) to perform reasoning on image data through reinforcement learning and visual question-answer pairs, without any explicit chain-of-thought (CoT) supervision. Our findings indicate that simply applying reinforcement learning to a VLM -- by prompting the model to produce a reasoning chain before providing an answer -- can lead the model to develop shortcuts from easy questions, thereby reducing its ability to generalize across unseen data distributions. We argue that the key to mitigating shortcut learning is to encourage the model to interpret images prior to reasoning. Therefore, we train the model to adhere to a caption-reason-answer output format: initially generating a detailed caption for an image, followed by constructing an extensive reasoning chain. When trained on 273K CoT-free visual question-answer pairs and using only reinforcement learning, our model, named Visionary-R1, outperforms strong multimodal models, such as GPT-4o, Claude3.5-Sonnet, and Gemini-1.5-Pro, on multiple visual reasoning benchmarks.