TACO: Werkzeuggestützte Kreditoptimierung für agentische Werkzeugnutzung

Zusammenfassung

Agentische multimodale Modelle führen vielfältige Operationen auf einem Bild mittels Code durch und schlussfolgern über die zurückgegebene Ansicht – ein effektives Paradigma für die feinkörnige visuelle Fragebeantwortung. Allerdings können Code-Operationen nützlich, redundant oder irreführend sein. Ausschließlich ergebnisbasierte Belohnungen können diese Fälle nicht präzise unterscheiden, und existierende Prozessbelohnungen schreiben entweder die endgültige Korrektheit einzelnen Tool-Aufrufen nicht zu oder benötigen ein externes Bewertungsmodell. Um dies zu adressieren, führen wir Tool-Augmented Credit Optimization (TACO) ein, eine GRPO-Variante für Code-Werkzeug-Agenten, die auf zwei gekoppelten Advantage-Kanälen basiert. Der erste, Differential Answer-Probe Reward (DAPR), ist ein selbstüberwachter, bewertungsfreier Tool-Beitrags-Advantage, der jeden Tool-Aufruf anhand seiner eigenen Wirkung auf die korrekte Beantwortung bewertet. In das Reasoning des Modells eingefügte Sonden-Token rufen dessen Vorhersagen mit und ohne das Tool ab, und die Differenz der Ergebnisbelohnung wird als Wert des Aufrufs genommen: positiv für einen nützlichen Aufruf, negativ für einen irreführenden und null für einen, der nichts ändert. Dies nutzt den vorhandenen Antwortprüfer ohne zusätzlichen Bewerter und ist als Differenz und nicht als absoluter Sonden-Score von Natur aus robust gegenüber Sonden-Hacking. Der zweite ist der Ergebnis-Advantage aus der endgültigen Antwort, verteilt durch Outcome-Gated Advantage Routing (OGAR): eine parameterfreie Regel, die, abhängig vom Ergebnis des Aufrufs, diesen Credit nur an die verantwortlichen Segmente weitergibt und verschwendete Tool-Aufrufe unterdrückt – ohne jeglichen Kosten-Term. Wir trainieren TACO mittels einer zweistufigen SFT+RL-Pipeline. Umfangreiche Experimente in den Bereichen Wahrnehmung, Reasoning und allgemeine multimodale Benchmarks zeigen, dass TACO konsistente Genauigkeitssteigerungen erzielt und lernt, seine Tools nur dann einzusetzen, wenn sie tatsächlich helfen.

English

Agentic multimodal models perform diverse operations on an image via code and reason over the returned view, an effective paradigm for fine-grained visual question answering. However, code operations can be useful, redundant, or misleading. Outcome-only rewards cannot precisely distinguish these cases, and existing process rewards either fail to attribute final correctness to individual tool calls, or require an external judge model. To address this, we introduce Tool-Augmented Credit Optimization (TACO), a GRPO variant for code-tool agents built on two coupled advantage channels. The first, Differential Answer-Probe Reward (DAPR), is a self-supervised, judge-free tool-contribution advantage that credits each tool call by its own effect on answering correctly. Probe tokens inserted into the model's reasoning elicit its predictions with and without the tool, and the difference in outcome reward is taken as the call's value: positive for a useful call, negative for a misleading one, and zero for one that changes nothing. This reuses the existing answer checker with no auxiliary judge, and, being a difference rather than an absolute probe score, is naturally robust to probe-hacking. The second is the outcome advantage from the final answer, distributed by Outcome-Gated Advantage Routing (OGAR): a parameter-free rule that, conditioned on the call's outcome, delivers this credit only to the responsible segments, suppressing wasted tool calls without any cost term. We train TACO through a two-stage SFT+RL pipeline. Extensive experiments across perception, reasoning, and general multimodal benchmarks show that it yields consistent accuracy gains and learns to invoke its tools only when they help.