TACO: Инструментально-расширенная оптимизация кредита для агентного использования инструментов

Аннотация

Агентные мультимодальные модели выполняют разнообразные операции над изображением через код и рассуждают над возвращённым представлением, что представляет собой эффективный подход к детальному ответу на визуальные вопросы. Однако кодовые операции могут быть полезными, избыточными или вводящими в заблуждение. Вознаграждения только за результат не позволяют точно разграничить эти случаи, а существующие процессные вознаграждения либо не могут связать итоговую правильность с отдельными вызовами инструментов, либо требуют внешней модели-судьи. Для решения этой задачи мы предлагаем Tool-Augmented Credit Optimization (TACO) — вариант GRPO для агентов, использующих код-инструменты, построенный на двух сопряжённых каналах преимуществ. Первый из них, Differential Answer-Probe Reward (DAPR), представляет собой самонаблюдаемое преимущество за вклад инструмента, не требующее судьи, которое оценивает каждый вызов инструмента на основе его собственного влияния на правильность ответа. Токены-зонды, вставленные в процесс рассуждения модели, вызывают её прогнозы с использованием инструмента и без него, а разница в вознаграждении за результат принимается за ценность вызова: положительная для полезного вызова, отрицательная для вводящего в заблуждение и нулевая для того, который ничего не меняет. Это повторно использует существующий проверяльщик ответов без вспомогательного судьи и, будучи разницей, а не абсолютной оценочной величиной зонда, естественным образом устойчиво к взлому зондов. Второй — это преимущество за результат от финального ответа, распределяемое с помощью Outcome-Gated Advantage Routing (OGAR): правило без параметров, которое, в зависимости от результата вызова, передаёт этот кредит только ответственным сегментам, подавляя бесполезные вызовы инструментов без какого-либо штрафного слагаемого. Мы обучаем TACO через двухэтапный конвейер SFT+RL. Многочисленные эксперименты на эталонах восприятия, рассуждения и общих мультимодальных бенчмарках показывают, что он даёт устойчивый прирост точности и учится вызывать свои инструменты только тогда, когда они помогают.

English

Agentic multimodal models perform diverse operations on an image via code and reason over the returned view, an effective paradigm for fine-grained visual question answering. However, code operations can be useful, redundant, or misleading. Outcome-only rewards cannot precisely distinguish these cases, and existing process rewards either fail to attribute final correctness to individual tool calls, or require an external judge model. To address this, we introduce Tool-Augmented Credit Optimization (TACO), a GRPO variant for code-tool agents built on two coupled advantage channels. The first, Differential Answer-Probe Reward (DAPR), is a self-supervised, judge-free tool-contribution advantage that credits each tool call by its own effect on answering correctly. Probe tokens inserted into the model's reasoning elicit its predictions with and without the tool, and the difference in outcome reward is taken as the call's value: positive for a useful call, negative for a misleading one, and zero for one that changes nothing. This reuses the existing answer checker with no auxiliary judge, and, being a difference rather than an absolute probe score, is naturally robust to probe-hacking. The second is the outcome advantage from the final answer, distributed by Outcome-Gated Advantage Routing (OGAR): a parameter-free rule that, conditioned on the call's outcome, delivers this credit only to the responsible segments, suppressing wasted tool calls without any cost term. We train TACO through a two-stage SFT+RL pipeline. Extensive experiments across perception, reasoning, and general multimodal benchmarks show that it yields consistent accuracy gains and learns to invoke its tools only when they help.