ツールを用いた強化視覚知覚

Reinforced Visual Perception with Tools

September 1, 2025

著者: Zetong Zhou, Dongping Chen, Zixian Ma, Zhihan Hu, Mingyang Fu, Sinan Wang, Yao Wan, Zhou Zhao, Ranjay Krishna

cs.AI

要旨

視覚的推論は、人間の知能の基盤をなすものであり、多様な視覚的問題を解決するために不可欠な複雑な知覚的・論理的なプロセスを包含しています。コンピュータビジョンの進歩により、さまざまな知覚タスクに対して強力なモデルが開発されてきましたが、これらを一般的な視覚的推論に活用することは依然として困難です。これまでの研究では、視覚モデルを大規模言語モデル（LLM）に教師ありファインチューニングで組み込むことで性能が向上することが示されていますが、高コストなデータ生成、慎重なデータフィルタリングへの依存、そして汎化性能の低さといった重要な課題が残されています。これらの問題を解決するため、我々はReVPTを提案し、強化学習を通じてマルチモーダルLLMの視覚ツールを推論し活用する能力を強化します。我々は、GRPOに基づく新しい強化学習アルゴリズムを導入し、4つの視覚ツールを活用して推論するモデルを訓練するように設計しました。広範な実験を通じて、我々の手法がSAT、CV-Bench、BLINK、MMStarといった知覚重視のベンチマークで最先端の性能を達成し、教師ありおよびテキストベースの強化学習ファインチューニングのベースラインを大幅に上回ることを示しました。特に、ReVPT-3BとReVPT-7Bは、CV-Benchにおいてinstructモデルをそれぞれ9.03%と9.44%上回りました。最後に、我々は広範なアブレーション研究を通じて、強化学習に基づく視覚ツールの使用に関する新たな洞察をコミュニティに提供します。我々のコードはhttps://github.com/ls-kelvin/REVPTで公開されています。

English

Visual reasoning, a cornerstone of human intelligence, encompasses complex perceptual and logical processes essential for solving diverse visual problems. While advances in computer vision have produced powerful models for various perceptual tasks, leveraging these for general visual reasoning remains challenging. Prior work demonstrates that augmenting LLMs with vision models via supervised finetuning improves performance, but faces key limitations such as expensive data generation, reliance on careful data filtering, and poor generalization. To address these issues, we propose ReVPT to enhance multi-modal LLMs' abilities to reason about and use visual tools through reinforcement learning. We introduce a novel RL algorithm based on GRPO, designed to train models to reason with a suite of four visual tools. Through extensive experiments, we show that our method achieves state-of-the-art performance on several perception-heavy benchmarks, including SAT, CV-Bench, BLINK and MMStar, significantly outperforming the supervised and text-based RL finetuning baselines. Notably, Our ReVPT-3B and ReVPT-7B outperform the instruct models by 9.03% and 9.44% on CV-Bench. Finally, we bring to the community new insights on RL-based visual tool-usage through extensive ablations. Our code is available at https://github.com/ls-kelvin/REVPT.