GRIT: MLLMに画像を用いて思考する方法を教える

GRIT: Teaching MLLMs to Think with Images

May 21, 2025

著者: Yue Fan, Xuehai He, Diji Yang, Kaizhi Zheng, Ching-Chen Kuo, Yuting Zheng, Sravana Jyothi Narayanaraju, Xinze Guan, Xin Eric Wang

cs.AI

要旨

近年の研究では、最終的な回答を生成する前に思考の連鎖を明確に示す推論モデルを構築する際に、強化学習（Reinforcement Learning: RL）の有効性が実証されています。しかし、視覚言語タスクにおける推論を可能にするための進展が続いているにもかかわらず、既存のオープンソースの視覚推論モデルは、通常、純粋な自然言語で推論内容を生成し、視覚情報を明示的に統合していません。これにより、明確に表現され視覚的に根拠付けられた推論連鎖を生成する能力が制限されています。この問題に対処するため、我々は画像とテキストを用いた根拠付け推論（Grounded Reasoning with Images and Texts: GRIT）を提案します。GRITは、モデルが自然言語と明示的なバウンディングボックス座標を交互に織り交ぜた推論連鎖を生成する、根拠付け推論パラダイムを導入します。これらの座標は、推論プロセス中にモデルが参照する入力画像の領域を指し示します。さらに、GRITはGRPOアルゴリズムに基づいた強化学習アプローチであるGRPO-GRを備えています。GRPO-GRは、最終的な回答の正確性と根拠付け推論出力の形式に焦点を当てた堅牢な報酬を採用しており、推論連鎖のアノテーションや明示的なバウンディングボックスラベルを必要としません。その結果、GRITは既存のデータセットからわずか20の画像-質問-回答のトリプレットを必要とする、優れたデータ効率を実現します。包括的な評価により、GRITがMLLM（Multimodal Large Language Model）を効果的に訓練し、一貫性があり視覚的に根拠付けられた推論連鎖を生成することが実証され、推論能力と根拠付け能力の成功した統合を示しています。

English

Recent studies have demonstrated the efficacy of using Reinforcement Learning (RL) in building reasoning models that articulate chains of thoughts prior to producing final answers. However, despite ongoing advances that aim at enabling reasoning for vision-language tasks, existing open-source visual reasoning models typically generate reasoning content with pure natural language, lacking explicit integration of visual information. This limits their ability to produce clearly articulated and visually grounded reasoning chains. To this end, we propose Grounded Reasoning with Images and Texts (GRIT), a novel method for training MLLMs to think with images. GRIT introduces a grounded reasoning paradigm, in which models generate reasoning chains that interleave natural language and explicit bounding box coordinates. These coordinates point to regions of the input image that the model consults during its reasoning process. Additionally, GRIT is equipped with a reinforcement learning approach, GRPO-GR, built upon the GRPO algorithm. GRPO-GR employs robust rewards focused on the final answer accuracy and format of the grounded reasoning output, which eliminates the need for data with reasoning chain annotations or explicit bounding box labels. As a result, GRIT achieves exceptional data efficiency, requiring as few as 20 image-question-answer triplets from existing datasets. Comprehensive evaluations demonstrate that GRIT effectively trains MLLMs to produce coherent and visually grounded reasoning chains, showing a successful unification of reasoning and grounding abilities.