SATORI-R1: 空間的基盤と検証可能な報酬によるマルチモーダル推論の促進

SATORI-R1: Incentivizing Multimodal Reasoning with Spatial Grounding and Verifiable Rewards

May 25, 2025

著者: Chuming Shen, Wei Wei, Xiaoye Qu, Yu Cheng

cs.AI

要旨

DeepSeek-R1は、安定した強化学習（RL）を通じて、テキスト領域において強力な推論能力を実証してきました。最近では、マルチモーダル領域において、Visual Question Answering（VQA）タスクに対してR1のような自由形式の推論を直接生成するためにRLを適用する研究が始まっています。しかし、マルチモーダルタスクは、問題を解決するために入力画像の理解に大きく依存するという点で、テキストタスクとは本質的に異なる性質を共有しています。そのため、VQAタスクにおいて、このような自由形式の推論は2つの重大な制限に直面しています：（1）拡張された推論チェーンが、タスクの重要な領域から視覚的焦点を拡散させ、回答精度を低下させる。（2）検証不可能な中間ステップが、ポリシー勾配の分散と計算コストのオーバーヘッドを増幅する。これらの問題に対処するため、本論文では、SATORI（Spatially Anchored Task Optimization with ReInforcement Learning）を提案します。SATORIは、VQAを、グローバルな画像キャプション生成、領域のローカライゼーション、回答予測という3つの検証可能な段階に分解し、それぞれが明示的な報酬信号を提供します。さらに、トレーニングを促進するために、回答に整合したキャプションとバウンディングボックスが注釈付けされた12kのデータセットであるVQA-Verifyも導入します。実験では、7つのVQAベンチマークにおいて一貫した性能向上が実証され、R1のようなベースラインと比較して最大15.7%の精度向上を達成しました。注意マップの分析により、重要な領域への焦点が強化され、精度の向上がもたらされることが確認されました。私たちのコードはhttps://github.com/justairr/SATORI-R1で公開されています。

English

DeepSeek-R1 has demonstrated powerful reasoning capabilities in the text domain through stable reinforcement learning (RL). Recently, in the multimodal domain, works have begun to directly apply RL to generate R1-like free-form reasoning for Visual Question Answering (VQA) tasks. However, multimodal tasks share an intrinsically different nature from textual tasks, which heavily rely on the understanding of the input image to solve the problem. Therefore, such free-form reasoning faces two critical limitations in the VQA task: (1) Extended reasoning chains diffuse visual focus away from task-critical regions, degrading answer accuracy. (2) Unverifiable intermediate steps amplify policy-gradient variance and computational costs overhead. To address these issues, in this paper, we introduce SATORI (Spatially Anchored Task Optimization with ReInforcement Learning), which decomposes VQA into three verifiable stages, including global image captioning, region localization, and answer prediction, each supplying explicit reward signals. Furthermore, we also introduce VQA-Verify, a 12k dataset annotated with answer-aligned captions and bounding-boxes to facilitate training. Experiments demonstrate consistent performance improvements across seven VQA benchmarks, achieving up to 15.7% improvement in accuracy in accuracy compared to the R1-like baseline. Our analysis of the attention map confirms enhanced focus on critical regions, which brings improvements in accuracy. Our code is available at https://github.com/justairr/SATORI-R1.