Perception Visuelle Renforcée par Outils

Reinforced Visual Perception with Tools

September 1, 2025

papers.authors: Zetong Zhou, Dongping Chen, Zixian Ma, Zhihan Hu, Mingyang Fu, Sinan Wang, Yao Wan, Zhou Zhao, Ranjay Krishna

cs.AI

papers.abstract

Le raisonnement visuel, un pilier de l'intelligence humaine, englobe des processus perceptifs et logiques complexes essentiels pour résoudre divers problèmes visuels. Bien que les avancées en vision par ordinateur aient produit des modèles puissants pour diverses tâches perceptives, leur utilisation pour un raisonnement visuel général reste un défi. Les travaux antérieurs montrent que l'amélioration des LLM avec des modèles de vision par un finetuning supervisé améliore les performances, mais se heurte à des limitations clés telles que la génération coûteuse de données, la dépendance à un filtrage minutieux des données et une mauvaise généralisation. Pour résoudre ces problèmes, nous proposons ReVPT pour améliorer les capacités des LLM multimodaux à raisonner et à utiliser des outils visuels grâce à l'apprentissage par renforcement. Nous introduisons un nouvel algorithme de RL basé sur GRPO, conçu pour entraîner les modèles à raisonner avec une suite de quatre outils visuels. À travers des expériences approfondies, nous montrons que notre méthode atteint des performances de pointe sur plusieurs benchmarks axés sur la perception, notamment SAT, CV-Bench, BLINK et MMStar, surpassant significativement les bases de référence du finetuning supervisé et du RL basé sur le texte. Notamment, nos modèles ReVPT-3B et ReVPT-7B surpassent les modèles instruct de 9,03 % et 9,44 % sur CV-Bench. Enfin, nous apportons à la communauté de nouvelles perspectives sur l'utilisation des outils visuels basée sur le RL grâce à des ablations approfondies. Notre code est disponible à l'adresse https://github.com/ls-kelvin/REVPT.

English

Visual reasoning, a cornerstone of human intelligence, encompasses complex perceptual and logical processes essential for solving diverse visual problems. While advances in computer vision have produced powerful models for various perceptual tasks, leveraging these for general visual reasoning remains challenging. Prior work demonstrates that augmenting LLMs with vision models via supervised finetuning improves performance, but faces key limitations such as expensive data generation, reliance on careful data filtering, and poor generalization. To address these issues, we propose ReVPT to enhance multi-modal LLMs' abilities to reason about and use visual tools through reinforcement learning. We introduce a novel RL algorithm based on GRPO, designed to train models to reason with a suite of four visual tools. Through extensive experiments, we show that our method achieves state-of-the-art performance on several perception-heavy benchmarks, including SAT, CV-Bench, BLINK and MMStar, significantly outperforming the supervised and text-based RL finetuning baselines. Notably, Our ReVPT-3B and ReVPT-7B outperform the instruct models by 9.03% and 9.44% on CV-Bench. Finally, we bring to the community new insights on RL-based visual tool-usage through extensive ablations. Our code is available at https://github.com/ls-kelvin/REVPT.