TACO: Optimización de Crédito Aumentada por Herramientas para el Uso Agéntico de Herramientas

Resumen

Los modelos multimodales agentivos realizan diversas operaciones sobre una imagen mediante código y razonan sobre la vista devuelta, un paradigma efectivo para la respuesta a preguntas visuales detalladas. Sin embargo, las operaciones de código pueden ser útiles, redundantes o engañosas. Las recompensas basadas únicamente en el resultado no pueden distinguir estos casos con precisión, y las recompensas de proceso existentes o no logran atribuir la corrección final a llamadas de herramienta individuales, o requieren un modelo juez externo. Para abordar esto, introducimos la Optimización de Crédito Aumentada por Herramientas (TACO), una variante de GRPO para agentes de herramientas de código construida sobre dos canales de ventaja acoplados. El primero, la Recompensa Diferencial de Sonda de Respuesta (DAPR), es una ventaja de contribución de herramienta autosupervisada y sin juez que atribuye crédito a cada llamada de herramienta según su propio efecto en responder correctamente. Los tokens de sonda insertados en el razonamiento del modelo provocan sus predicciones con y sin la herramienta, y la diferencia en la recompensa del resultado se toma como el valor de la llamada: positiva para una llamada útil, negativa para una engañosa y cero para una que no cambia nada. Esto reutiliza el verificador de respuestas existente sin un juez auxiliar y, al ser una diferencia en lugar de una puntuación absoluta de sonda, es naturalmente robusto a la manipulación de la sonda. El segundo es la ventaja de resultado de la respuesta final, distribuida por el Enrutamiento de Ventaja Controlado por Resultado (OGAR): una regla sin parámetros que, condicionada al resultado de la llamada, entrega este crédito solo a los segmentos responsables, suprimiendo las llamadas a herramientas desperdiciadas sin ningún término de costo. Entrenamos TACO mediante un pipeline de dos etapas SFT+RL. Amplios experimentos en puntos de referencia de percepción, razonamiento y multimodales generales muestran que produce ganancias de precisión consistentes y aprende a invocar sus herramientas solo cuando ayudan.

English

Agentic multimodal models perform diverse operations on an image via code and reason over the returned view, an effective paradigm for fine-grained visual question answering. However, code operations can be useful, redundant, or misleading. Outcome-only rewards cannot precisely distinguish these cases, and existing process rewards either fail to attribute final correctness to individual tool calls, or require an external judge model. To address this, we introduce Tool-Augmented Credit Optimization (TACO), a GRPO variant for code-tool agents built on two coupled advantage channels. The first, Differential Answer-Probe Reward (DAPR), is a self-supervised, judge-free tool-contribution advantage that credits each tool call by its own effect on answering correctly. Probe tokens inserted into the model's reasoning elicit its predictions with and without the tool, and the difference in outcome reward is taken as the call's value: positive for a useful call, negative for a misleading one, and zero for one that changes nothing. This reuses the existing answer checker with no auxiliary judge, and, being a difference rather than an absolute probe score, is naturally robust to probe-hacking. The second is the outcome advantage from the final answer, distributed by Outcome-Gated Advantage Routing (OGAR): a parameter-free rule that, conditioned on the call's outcome, delivers this credit only to the responsible segments, suppressing wasted tool calls without any cost term. We train TACO through a two-stage SFT+RL pipeline. Extensive experiments across perception, reasoning, and general multimodal benchmarks show that it yields consistent accuracy gains and learns to invoke its tools only when they help.