CodeV : Programmer avec des Images pour un Raisonnement Visuel Fiable via une Optimisation de Politique Consciente des Outils

CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization

November 24, 2025

papers.authors: Xinhai Hou, Shaoyuan Xu, Manan Biyani, Mayan Li, Jia Liu, Todd C. Hollon, Bryan Wang

cs.AI

papers.abstract

Les modèles vision-langage agentiques sont de plus en plus entraînés à « penser avec des images » en invoquant des opérations visuelles. Cependant, nous démontrons qu’une précision élevée sur la réponse finale masque souvent un raisonnement visuel peu fidèle : les modèles peuvent appeler des outils sur des régions non pertinentes ou ignorer complètement leurs sorties, tout en devinant la bonne réponse. Dans ce travail, nous proposons d’abord un protocole d’évaluation de la fidélité qui mesure si les sorties intermédiaires des outils visuels (par exemple, des recadrages) contiennent réellement les preuves demandées. Celui-ci révèle que les agents visuels récents atteignent une haute précision finale mais présentent de faibles taux d’utilisation fidèle des outils sur des benchmarks de recherche visuelle. Nous introduisons ensuite CodeV, un agent visuel basé sur du code, entraîné avec l’Optimisation de Politique Sensible aux Outils (TAPO). TAPO est un cadre d’apprentissage par renforcement au niveau processus qui enrichit GRPO avec des récompenses denses définies directement sur les entrées et sorties des outils visuels, plutôt que sur des tokens de raisonnement en chaîne, rendant la supervision plus facile à vérifier et moins sujette au détournement de récompense. CodeV représente les outils visuels sous forme de code Python exécutable, et TAPO attribue des récompenses pas-à-pas basées uniquement sur la question et la sortie de l’outil, encourageant une utilisation à la fois nécessaire et cohérente avec les preuves. Dans un pipeline en deux étapes (SFT + RL), CodeV atteint une précision compétitive ou supérieure tout en augmentant substantiellement les taux d’utilisation fidèle des outils sur des benchmarks de recherche visuelle connexes. Au-delà de la recherche visuelle, CodeV obtient de solides performances sur une série de benchmarks de raisonnement multimodal et mathématique, suggérant que superviser explicitement le comportement intermédiaire des outils est crucial pour construire des systèmes de raisonnement visuel agentiques dignes de confiance.

English

Agentic vision-language models are increasingly trained to "think with images" by calling image operations. However, we show that high final-answer accuracy often hides unfaithful visual reasoning: models may invoke tools on irrelevant regions or ignore tool outputs entirely, yet still guess the correct answer. In this work, we first propose a faithfulness evaluation protocol that measures whether intermediate visual tool outputs (e.g., crops) actually contain the queried evidence. This reveals that recent visual agents achieve high final-answer accuracy but exhibit low rates of faithful tool-use on visual search benchmarks. We then introduce CodeV, a code-based visual agent trained with Tool-Aware Policy Optimization (TAPO). TAPO is a process-level RL framework that augments GRPO with dense rewards defined directly on visual tool inputs and outputs, rather than on chain-of-thought tokens, making supervision easier to verify and less susceptible to reward hacking. CodeV represents visual tools as executable Python code, and TAPO assigns step-wise rewards based solely on the question and tool output, encouraging both necessary and evidence-consistent tool use. In a two-stage SFT+RL pipeline, CodeV achieves competitive or superior accuracy while substantially increasing faithful tool-use rates on related visual search benchmarks. Beyond visual search, CodeV attains strong performance on a range of multimodal reasoning and math benchmarks, suggesting that explicitly supervising intermediate tool behavior is crucial for building trustworthy, agentic visual reasoning systems.