CodeV: Программирование с изображениями для достоверного визуального анализа с помощью инструментально-ориентированной оптимизации политик

CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization

November 24, 2025

Авторы: Xinhai Hou, Shaoyuan Xu, Manan Biyani, Mayan Li, Jia Liu, Todd C. Hollon, Bryan Wang

cs.AI

Аннотация

Агентные визуально-языковые модели все чаще обучаются «мыслить образами», вызывая операции с изображениями. Однако мы показываем, что высокая итоговая точность ответов часто скрывает недобросовестное визуальное рассуждение: модели могут применять инструменты к нерелевантным областям или полностью игнорировать их результаты, но при этом угадывать правильный ответ. В данной работе мы сначала предлагаем протокол оценки добросовестности, который измеряет, содержат ли промежуточные визуальные результаты инструментов (например, кропы) запрашиваемые доказательства. Это показывает, что современные визуальные агенты достигают высокой итоговой точности, но демонстрируют низкий уровень добросовестного использования инструментов в бенчмарках визуального поиска. Затем мы представляем CodeV — кодонового визуального агента, обученного с помощью оптимизации политики с учетом инструментов (TAPO). TAPO — это процессная RL-архитектура, которая расширяет GRPO за счет плотных вознаграждений, определенных непосредственно на входах и выходах визуальных инструментов, а не на токенах цепи рассуждений, что упрощает проверку контроля и снижает уязвимость к взлому вознаграждений. CodeV представляет визуальные инструменты в виде исполняемого кода Python, а TAPO назначает пошаговые вознаграждения исключительно на основе вопроса и вывода инструмента, поощряя как необходимое, так и согласованное с доказательствами использование инструментов. В двухэтапном конвейере SFT+RL CodeV достигает конкурентоспособной или превосходящей точности при значительном увеличении уровня добросовестного использования инструментов в связанных бенчмарках визуального поиска. Помимо визуального поиска, CodeV демонстрирует высокую производительность на ряде мультимодальных бенчмарков рассуждений и математики, что позволяет предположить, что явный контроль промежуточного поведения инструментов критически важен для построения надежных агентных систем визуального рассуждения.

English

Agentic vision-language models are increasingly trained to "think with images" by calling image operations. However, we show that high final-answer accuracy often hides unfaithful visual reasoning: models may invoke tools on irrelevant regions or ignore tool outputs entirely, yet still guess the correct answer. In this work, we first propose a faithfulness evaluation protocol that measures whether intermediate visual tool outputs (e.g., crops) actually contain the queried evidence. This reveals that recent visual agents achieve high final-answer accuracy but exhibit low rates of faithful tool-use on visual search benchmarks. We then introduce CodeV, a code-based visual agent trained with Tool-Aware Policy Optimization (TAPO). TAPO is a process-level RL framework that augments GRPO with dense rewards defined directly on visual tool inputs and outputs, rather than on chain-of-thought tokens, making supervision easier to verify and less susceptible to reward hacking. CodeV represents visual tools as executable Python code, and TAPO assigns step-wise rewards based solely on the question and tool output, encouraging both necessary and evidence-consistent tool use. In a two-stage SFT+RL pipeline, CodeV achieves competitive or superior accuracy while substantially increasing faithful tool-use rates on related visual search benchmarks. Beyond visual search, CodeV attains strong performance on a range of multimodal reasoning and math benchmarks, suggesting that explicitly supervising intermediate tool behavior is crucial for building trustworthy, agentic visual reasoning systems.