Percezione Visiva Rafforzata con Strumenti

Reinforced Visual Perception with Tools

September 1, 2025

Autori: Zetong Zhou, Dongping Chen, Zixian Ma, Zhihan Hu, Mingyang Fu, Sinan Wang, Yao Wan, Zhou Zhao, Ranjay Krishna

cs.AI

Abstract

Il ragionamento visivo, un pilastro dell'intelligenza umana, comprende processi percettivi e logici complessi essenziali per risolvere una vasta gamma di problemi visivi. Sebbene i progressi nella visione artificiale abbiano prodotto modelli potenti per vari compiti percettivi, sfruttarli per un ragionamento visivo generale rimane una sfida. Ricerche precedenti dimostrano che potenziare i modelli linguistici di grandi dimensioni (LLM) con modelli visivi tramite fine-tuning supervisionato migliora le prestazioni, ma presenta limitazioni chiave come la generazione costosa di dati, la dipendenza da un'attenta filtrazione dei dati e una scarsa generalizzazione. Per affrontare questi problemi, proponiamo ReVPT per migliorare le capacità dei modelli linguistici multi-modali di ragionare e utilizzare strumenti visivi attraverso l'apprendimento per rinforzo. Introduciamo un nuovo algoritmo di RL basato su GRPO, progettato per addestrare i modelli a ragionare con una suite di quattro strumenti visivi. Attraverso esperimenti estesi, dimostriamo che il nostro metodo raggiunge prestazioni all'avanguardia su diversi benchmark con forte componente percettiva, tra cui SAT, CV-Bench, BLINK e MMStar, superando significativamente i baseline di fine-tuning supervisionato e RL basato su testo. In particolare, i nostri ReVPT-3B e ReVPT-7B superano i modelli instruct rispettivamente del 9,03% e del 9,44% su CV-Bench. Infine, offriamo alla comunità nuove intuizioni sull'uso di strumenti visivi basati su RL attraverso ampie ablazioni. Il nostro codice è disponibile all'indirizzo https://github.com/ls-kelvin/REVPT.

English

Visual reasoning, a cornerstone of human intelligence, encompasses complex perceptual and logical processes essential for solving diverse visual problems. While advances in computer vision have produced powerful models for various perceptual tasks, leveraging these for general visual reasoning remains challenging. Prior work demonstrates that augmenting LLMs with vision models via supervised finetuning improves performance, but faces key limitations such as expensive data generation, reliance on careful data filtering, and poor generalization. To address these issues, we propose ReVPT to enhance multi-modal LLMs' abilities to reason about and use visual tools through reinforcement learning. We introduce a novel RL algorithm based on GRPO, designed to train models to reason with a suite of four visual tools. Through extensive experiments, we show that our method achieves state-of-the-art performance on several perception-heavy benchmarks, including SAT, CV-Bench, BLINK and MMStar, significantly outperforming the supervised and text-based RL finetuning baselines. Notably, Our ReVPT-3B and ReVPT-7B outperform the instruct models by 9.03% and 9.44% on CV-Bench. Finally, we bring to the community new insights on RL-based visual tool-usage through extensive ablations. Our code is available at https://github.com/ls-kelvin/REVPT.