TACO : Optimisation du Crédit Augmentée par Outils pour l'Utilisation Agentique d'Outils

Résumé

Les modèles multimodaux agentifs effectuent diverses opérations sur une image via du code et raisonnent sur la vue renvoyée, un paradigme efficace pour la réponse à des questions visuelles à granularité fine. Cependant, les opérations de code peuvent être utiles, redondantes ou trompeuses. Les récompenses basées uniquement sur le résultat ne permettent pas de distinguer précisément ces cas, et les récompenses de processus existantes soit ne parviennent pas à attribuer la justesse finale à des appels d'outils individuels, soit nécessitent un modèle de jugement externe. Pour y remédier, nous introduisons l'Optimisation de Crédit Augmentée par Outil (TACO), une variante de GRPO pour les agents code-outil construite sur deux canaux d'avantage couplés. Le premier, la Récompense Différentielle par Sondage de Réponse (DAPR), est un avantage de contribution d'outil auto-supervisé et sans juge qui crédite chaque appel d'outil par son propre effet sur la réponse correcte. Des jetons de sondage insérés dans le raisonnement du modèle suscitent ses prédictions avec et sans l'outil, et la différence de récompense de résultat est prise comme valeur de l'appel : positive pour un appel utile, négative pour un appel trompeur, et nulle pour un appel qui ne change rien. Cela réutilise le vérificateur de réponse existant sans juge auxiliaire, et, étant une différence plutôt qu'un score de sondage absolu, est naturellement robuste au piratage de sondage. Le second est l'avantage de résultat provenant de la réponse finale, distribué par le Routage d'Avantage avec Porte de Résultat (OGAR) : une règle sans paramètre qui, conditionnée par le résultat de l'appel, délivre ce crédit uniquement aux segments responsables, supprimant les appels d'outils gaspillés sans aucun terme de coût. Nous entraînons TACO via un pipeline SFT+RL en deux étapes. Des expériences approfondies sur des benchmarks de perception, de raisonnement et multimodaux généraux montrent qu'il produit des gains de précision constants et apprend à invoquer ses outils uniquement lorsqu'ils aident.

English

Agentic multimodal models perform diverse operations on an image via code and reason over the returned view, an effective paradigm for fine-grained visual question answering. However, code operations can be useful, redundant, or misleading. Outcome-only rewards cannot precisely distinguish these cases, and existing process rewards either fail to attribute final correctness to individual tool calls, or require an external judge model. To address this, we introduce Tool-Augmented Credit Optimization (TACO), a GRPO variant for code-tool agents built on two coupled advantage channels. The first, Differential Answer-Probe Reward (DAPR), is a self-supervised, judge-free tool-contribution advantage that credits each tool call by its own effect on answering correctly. Probe tokens inserted into the model's reasoning elicit its predictions with and without the tool, and the difference in outcome reward is taken as the call's value: positive for a useful call, negative for a misleading one, and zero for one that changes nothing. This reuses the existing answer checker with no auxiliary judge, and, being a difference rather than an absolute probe score, is naturally robust to probe-hacking. The second is the outcome advantage from the final answer, distributed by Outcome-Gated Advantage Routing (OGAR): a parameter-free rule that, conditioned on the call's outcome, delivers this credit only to the responsible segments, suppressing wasted tool calls without any cost term. We train TACO through a two-stage SFT+RL pipeline. Extensive experiments across perception, reasoning, and general multimodal benchmarks show that it yields consistent accuracy gains and learns to invoke its tools only when they help.