GRIT: Обучение мультимодальных языковых моделей мыслить с помощью изображений

GRIT: Teaching MLLMs to Think with Images

May 21, 2025

Авторы: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

cs.AI

Аннотация

Недавние исследования продемонстрировали эффективность использования обучения с подкреплением (Reinforcement Learning, RL) для создания моделей рассуждений, которые формулируют цепочки мыслей перед генерацией окончательных ответов. Однако, несмотря на постоянные улучшения, направленные на включение рассуждений в задачи, связанные с обработкой визуальной и текстовой информации, существующие открытые модели визуального рассуждения обычно генерируют содержание рассуждений исключительно на естественном языке, без явного интегрирования визуальной информации. Это ограничивает их способность создавать четко сформулированные и визуально обоснованные цепочки рассуждений. В связи с этим мы предлагаем метод Grounded Reasoning with Images and Texts (GRIT), новый подход к обучению мультимодальных языковых моделей (MLLMs) рассуждать с использованием изображений. GRIT вводит парадигму обоснованного рассуждения, в которой модели генерируют цепочки рассуждений, чередующие естественный язык и явные координаты ограничивающих рамок. Эти координаты указывают на области входного изображения, которые модель использует в процессе рассуждения. Кроме того, GRIT оснащен подходом обучения с подкреплением, GRPO-GR, основанным на алгоритме GRPO. GRPO-GR использует устойчивые вознаграждения, сфокусированные на точности окончательного ответа и формате обоснованного рассуждения, что устраняет необходимость в данных с аннотациями цепочек рассуждений или явными метками ограничивающих рамок. В результате GRIT демонстрирует исключительную эффективность использования данных, требуя всего 20 триплетов "изображение-вопрос-ответ" из существующих наборов данных. Комплексные оценки показывают, что GRIT эффективно обучает MLLMs создавать согласованные и визуально обоснованные цепочки рассуждений, демонстрируя успешное объединение способностей к рассуждению и обоснованию.

English

Recent studies have demonstrated the efficacy of using Reinforcement Learning (RL) in building reasoning models that articulate chains of thoughts prior to producing final answers. However, despite ongoing advances that aim at enabling reasoning for vision-language tasks, existing open-source visual reasoning models typically generate reasoning content with pure natural language, lacking explicit integration of visual information. This limits their ability to produce clearly articulated and visually grounded reasoning chains. To this end, we propose Grounded Reasoning with Images and Texts (GRIT), a novel method for training MLLMs to think with images. GRIT introduces a grounded reasoning paradigm, in which models generate reasoning chains that interleave natural language and explicit bounding box coordinates. These coordinates point to regions of the input image that the model consults during its reasoning process. Additionally, GRIT is equipped with a reinforcement learning approach, GRPO-GR, built upon the GRPO algorithm. GRPO-GR employs robust rewards focused on the final answer accuracy and format of the grounded reasoning output, which eliminates the need for data with reasoning chain annotations or explicit bounding box labels. As a result, GRIT achieves exceptional data efficiency, requiring as few as 20 image-question-answer triplets from existing datasets. Comprehensive evaluations demonstrate that GRIT effectively trains MLLMs to produce coherent and visually grounded reasoning chains, showing a successful unification of reasoning and grounding abilities.