CodeV: Programmazione con Immagini per un Ragionamento Visivo Fedele tramite Ottimizzazione di Politiche Consapevoli degli Strumenti

CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization

November 24, 2025

Autori: Xinhai Hou, Shaoyuan Xu, Manan Biyani, Mayan Li, Jia Liu, Todd C. Hollon, Bryan Wang

cs.AI

Abstract

I modelli visione-linguaggio agentivi vengono sempre più addestrati a "pensare con le immagini" richiamando operazioni visive. Tuttavia, dimostriamo che un'elevata accuratezza nella risposta finale spesso nasconde un ragionamento visivo non fedele: i modelli possono invocare strumenti su regioni irrilevanti o ignorarne completamente gli output, pur indovinando la risposta corretta. In questo lavoro, proponiamo innanzitutto un protocollo di valutazione della fedeltà che misura se gli output visivi intermedi (ad esempio, ritagli) contengano effettivamente le evidenze richieste. Ciò rivela che i recenti agenti visivi raggiungono un'elevata accuratezza finale ma mostrano bassi tassi di utilizzo fedele degli strumenti su benchmark di ricerca visiva. Introduciamo quindi CodeV, un agente visivo basato su codice addestrato con Tool-Aware Policy Optimization (TAPO). TAPO è un framework di RL a livello di processo che potenzia GRPO con ricompense dense definite direttamente sugli input e output degli strumenti visivi, anziché sui token del ragionamento a catena, rendendo la supervisione più facile da verificare e meno suscettibile a manipolazioni del reward. CodeV rappresenta gli strumenti visivi come codice Python eseguibile, e TAPO assegna ricompense passo-passo basate esclusivamente sulla domanda e sull'output dello strumento, incoraggiando un utilizzo sia necessario che coerente con le evidenze. In una pipeline a due stadi SFT+RL, CodeV raggiunge un'accuratezza competitiva o superiore aumentando sostanzialmente i tassi di utilizzo fedele degli strumenti su benchmark di ricerca visiva correlati. Oltre alla ricerca visiva, CodeV ottiene prestazioni solide su una gamma di benchmark di ragionamento multimodale e matematico, suggerendo che la supervisione esplicita del comportamento intermedio degli strumenti sia cruciale per costruire sistemi di ragionamento visivo agentivi e affidabili.

English

Agentic vision-language models are increasingly trained to "think with images" by calling image operations. However, we show that high final-answer accuracy often hides unfaithful visual reasoning: models may invoke tools on irrelevant regions or ignore tool outputs entirely, yet still guess the correct answer. In this work, we first propose a faithfulness evaluation protocol that measures whether intermediate visual tool outputs (e.g., crops) actually contain the queried evidence. This reveals that recent visual agents achieve high final-answer accuracy but exhibit low rates of faithful tool-use on visual search benchmarks. We then introduce CodeV, a code-based visual agent trained with Tool-Aware Policy Optimization (TAPO). TAPO is a process-level RL framework that augments GRPO with dense rewards defined directly on visual tool inputs and outputs, rather than on chain-of-thought tokens, making supervision easier to verify and less susceptible to reward hacking. CodeV represents visual tools as executable Python code, and TAPO assigns step-wise rewards based solely on the question and tool output, encouraging both necessary and evidence-consistent tool use. In a two-stage SFT+RL pipeline, CodeV achieves competitive or superior accuracy while substantially increasing faithful tool-use rates on related visual search benchmarks. Beyond visual search, CodeV attains strong performance on a range of multimodal reasoning and math benchmarks, suggesting that explicitly supervising intermediate tool behavior is crucial for building trustworthy, agentic visual reasoning systems.