CodeV: Programmieren mit Bildern für zuverlässiges visuelles Schließen durch werkzeugbewusste Richtlinienoptimierung

CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization

November 24, 2025

papers.authors: Xinhai Hou, Shaoyuan Xu, Manan Biyani, Mayan Li, Jia Liu, Todd C. Hollon, Bryan Wang

cs.AI

papers.abstract

Agentische Vision-Sprach-Modelle werden zunehmend darauf trainiert, „mit Bildern zu denken“, indem sie Bildoperationen aufrufen. Wir zeigen jedoch, dass eine hohe Endantwort-Genauigkeit oft unfaithful visuelles Reasoning verbirgt: Modelle können Werkzeuge auf irrelevante Bildbereiche anwenden oder deren Ausgaben vollständig ignorieren und dennoch die richtige Antwort erraten. In dieser Arbeit schlagen wir zunächst ein Evaluierungsprotokoll für Faithfulness vor, das misst, ob die intermediären visuellen Werkzeugausgaben (z.B. Bildausschnitte) tatsächlich die angefragten Beweise enthalten. Dies zeigt, dass neuere visuelle Agenten zwar eine hohe Endantwort-Genauigkeit erreichen, aber niedrige Raten an faithful Werkzeugnutzung in Visual-Search-Benchmarks aufweisen. Anschließend stellen wir CodeV vor, einen codebasierten visuellen Agenten, der mit Tool-Aware Policy Optimization (TAPO) trainiert wird. TAPO ist ein RL-Framework auf Prozessebene, das GRPO um dichte Belohnungen erweitert, die direkt auf den Eingaben und Ausgaben der visuellen Werkzeuge definiert sind – und nicht auf Chain-of-Thought-Tokens –, was die Überprüfung der Supervision erleichtert und sie weniger anfällig für Reward Hacking macht. CodeV repräsentiert visuelle Werkzeuge als ausführbaren Python-Code, und TAPO weist schrittweise Belohnungen ausschließlich auf Basis der Frage und der Werkzeugausgabe zu, wodurch sowohl notwendiger als auch evidenzkonsistenter Werkzeugeinsatz gefördert wird. In einer zweistufigen SFT+RL-Pipeline erreicht CodeV eine vergleichbare oder überlegene Genauigkeit und steigert gleichzeitig die Raten faithful Werkzeugnutzung in relevanten Visual-Search-Benchmarks erheblich. Über Visual Search hinaus erzielt CodeV starke Leistungen in einer Reihe von multimodalen Reasoning- und Mathematik-Benchmarks, was darauf hindeutet, dass die explizite Supervision des intermediären Werkzeugverhaltens entscheidend für den Aufbau vertrauenswürdiger, agentischer visueller Reasoning-Systeme ist.

English

Agentic vision-language models are increasingly trained to "think with images" by calling image operations. However, we show that high final-answer accuracy often hides unfaithful visual reasoning: models may invoke tools on irrelevant regions or ignore tool outputs entirely, yet still guess the correct answer. In this work, we first propose a faithfulness evaluation protocol that measures whether intermediate visual tool outputs (e.g., crops) actually contain the queried evidence. This reveals that recent visual agents achieve high final-answer accuracy but exhibit low rates of faithful tool-use on visual search benchmarks. We then introduce CodeV, a code-based visual agent trained with Tool-Aware Policy Optimization (TAPO). TAPO is a process-level RL framework that augments GRPO with dense rewards defined directly on visual tool inputs and outputs, rather than on chain-of-thought tokens, making supervision easier to verify and less susceptible to reward hacking. CodeV represents visual tools as executable Python code, and TAPO assigns step-wise rewards based solely on the question and tool output, encouraging both necessary and evidence-consistent tool use. In a two-stage SFT+RL pipeline, CodeV achieves competitive or superior accuracy while substantially increasing faithful tool-use rates on related visual search benchmarks. Beyond visual search, CodeV attains strong performance on a range of multimodal reasoning and math benchmarks, suggesting that explicitly supervising intermediate tool behavior is crucial for building trustworthy, agentic visual reasoning systems.