SVR-R1: 強化学習における自己検証によるマルチモーダル推論のブートストラッピング

要旨

本稿では、マルチターン強化学習フレームワークであるSelf-Verified Reasoner（SVR-R1）を提案する。これは、モデル自身の検証プロセスをマルチモーダル推論の学習シグナルとして活用するものである。各クエリに対し、モデルは同一の重みを用いて回答を生成し、それに対して自己判定（Yes/No）をバイナリで下す。「No」の場合には再考の機会が与えられ、「Yes」の場合、またはターン数の上限に達した場合には、最終的な出力として結果ベースの報酬計算に用いられる。SVR-R1はGRPOと非同期マルチターンロールアウトフレームワークを用いて実装されており、外部からの監視や補助的な批評家モデルを必要としない。我々はSVR-R1を視覚言語推論ベンチマークで評価し、強力な標準GRPOベースラインと比較して高い精度向上を示した。訓練のダイナミクスを観察すると、検証ターン数が減少する、すなわち検証への依存度が低下する一方で、テスト精度は向上しており、これは本フレームワークによって自己修正が内化され、最も確信度の高い回答が選択されることで、検証と生成の乖離が縮小することを示している。SVR-R1は、推論時における自己洗練とVLMの強化学習訓練という、これまであまり探求されてこなかった交点を橋渡しするものであり、マルチモーダル推論をブートストラップする簡潔かつ効果的な手法を提供する。将来のVLM研究を促進するため、SVR-R1をオープンソース化する予定である。

English

We introduce Self-Verified Reasoner (SVR-R1), a multi-turn RL framework that turns a model's own verification into a learning signal for multimodal reasoning. For each query, the model proposes an answer using the same weights, and issues a binary self-verdict (Yes/No). A 'No' triggers a second-chance rethink; a 'Yes,' or a turn cap, finalizes the output for computing the outcome-based reward. SVR-R1 is implemented with GRPO and an asynchronous multi-turn rollout framework and needs no external supervision or auxiliary critics. We evaluate SVR-R1 on vision-language reasoning benchmarks and show that it improves accuracy by a large margin over strong standard GRPO baselines. Training dynamics show decreasing reliance on verification-fewer verification turns, yet higher test accuracy-indicating that the gap between verification and generation narrows as the policy internalizes self-correction and chooses the most confident answer via our framework. SVR-R1 bridges the less explored intersection of inference-time self-refinement and RL training for VLMs, offering a simple yet effective recipe for bootstrapping multimodal reasoning. We will open-source SVR-R1 to facilitate future research in VLMs.