Versterkte Visuele Waarneming met Hulpmiddelen

Reinforced Visual Perception with Tools

September 1, 2025

Auteurs: Zetong Zhou, Dongping Chen, Zixian Ma, Zhihan Hu, Mingyang Fu, Sinan Wang, Yao Wan, Zhou Zhao, Ranjay Krishna

cs.AI

Samenvatting

Visueel redeneren, een hoeksteen van menselijke intelligentie, omvat complexe perceptuele en logische processen die essentieel zijn voor het oplossen van uiteenlopende visuele problemen. Hoewel vooruitgang in computervisie krachtige modellen heeft opgeleverd voor diverse perceptuele taken, blijft het gebruik ervan voor algemeen visueel redeneren een uitdaging. Eerder werk toont aan dat het verbeteren van LLM's met visiemodellen via supervised finetuning de prestaties verbetert, maar kampt met belangrijke beperkingen zoals dure datageneratie, afhankelijkheid van zorgvuldige datafiltering en slechte generalizatie. Om deze problemen aan te pakken, stellen we ReVPT voor om de vaardigheden van multimodale LLM's te verbeteren om te redeneren over en visuele tools te gebruiken door middel van reinforcement learning. We introduceren een nieuw RL-algoritme gebaseerd op GRPO, ontworpen om modellen te trainen om te redeneren met een reeks van vier visuele tools. Door middel van uitgebreide experimenten tonen we aan dat onze methode state-of-the-art prestaties behaalt op verschillende perceptie-zware benchmarks, waaronder SAT, CV-Bench, BLINK en MMStar, en significant beter presteert dan de supervised en tekstgebaseerde RL-finetuning baselines. Opmerkelijk is dat onze ReVPT-3B en ReVPT-7B de instruct-modellen overtreffen met respectievelijk 9,03% en 9,44% op CV-Bench. Tot slot bieden we de gemeenschap nieuwe inzichten in RL-gebaseerd gebruik van visuele tools door middel van uitgebreide ablatiestudies. Onze code is beschikbaar op https://github.com/ls-kelvin/REVPT.

English

Visual reasoning, a cornerstone of human intelligence, encompasses complex perceptual and logical processes essential for solving diverse visual problems. While advances in computer vision have produced powerful models for various perceptual tasks, leveraging these for general visual reasoning remains challenging. Prior work demonstrates that augmenting LLMs with vision models via supervised finetuning improves performance, but faces key limitations such as expensive data generation, reliance on careful data filtering, and poor generalization. To address these issues, we propose ReVPT to enhance multi-modal LLMs' abilities to reason about and use visual tools through reinforcement learning. We introduce a novel RL algorithm based on GRPO, designed to train models to reason with a suite of four visual tools. Through extensive experiments, we show that our method achieves state-of-the-art performance on several perception-heavy benchmarks, including SAT, CV-Bench, BLINK and MMStar, significantly outperforming the supervised and text-based RL finetuning baselines. Notably, Our ReVPT-3B and ReVPT-7B outperform the instruct models by 9.03% and 9.44% on CV-Bench. Finally, we bring to the community new insights on RL-based visual tool-usage through extensive ablations. Our code is available at https://github.com/ls-kelvin/REVPT.