TACO: 에이전트 도구 사용을 위한 도구 증강 신용 최적화

초록

에이전트적 다중 모달 모델은 코드를 통해 이미지에 대해 다양한 연산을 수행하고 반환된 뷰에 대해 추론하며, 이는 세분화된 시각적 질문 응답을 위한 효과적인 패러다임이다. 그러나 코드 연산은 유용하거나, 중복되거나, 오해를 불러일으킬 수 있다. 결과 전용 보상은 이러한 경우들을 정확히 구분할 수 없으며, 기존의 과정 보상은 최종 정확성을 개별 도구 호출에 귀속시키지 못하거나 외부 판단 모델을 필요로 한다. 이를 해결하기 위해, 우리는 두 개의 결합된 이점 채널 위에 구축된 코드-도구 에이전트를 위한 GRPO 변형인 Tool-Augmented Credit Optimization (TACO)을 소개한다. 첫 번째는 Differential Answer-Probe Reward (DAPR)로, 각 도구 호출이 정답에 미치는 자체 효과에 따라 신용을 부여하는 자기 지도적이고 판단자 없는 도구 기여 이점이다. 모델의 추론에 삽입된 프로브 토큰은 도구가 있는 경우와 없는 경우의 예측을 유도하며, 결과 보상의 차이가 호출의 가치로 취해진다: 유용한 호출에 대해서는 양수, 오해를 불러일으키는 호출에 대해서는 음수, 아무것도 변경하지 않는 호출에 대해서는 0이다. 이는 보조 판단자 없이 기존 정답 검사기를 재사용하며, 절대적 프로브 점수가 아닌 차이이므로 자연스럽게 프로브 해킹에 강건하다. 두 번째는 최종 답변의 결과 이점으로, Outcome-Gated Advantage Routing (OGAR)에 의해 분배된다: 이는 호출의 결과에 따라 조건부로 이 신용을 책임 있는 세그먼트에만 전달하여 비용 항목 없이 낭비된 도구 호출을 억제하는 매개변수 없는 규칙이다. 우리는 2단계 SFT+RL 파이프라인을 통해 TACO를 훈련한다. 지각, 추론 및 일반 다중 모드 벤치마크에 걸친 광범위한 실험은 이것이 일관된 정확도 향상을 가져오며 도구가 도움이 될 때만 호출하도록 학습함을 보여준다.

English

Agentic multimodal models perform diverse operations on an image via code and reason over the returned view, an effective paradigm for fine-grained visual question answering. However, code operations can be useful, redundant, or misleading. Outcome-only rewards cannot precisely distinguish these cases, and existing process rewards either fail to attribute final correctness to individual tool calls, or require an external judge model. To address this, we introduce Tool-Augmented Credit Optimization (TACO), a GRPO variant for code-tool agents built on two coupled advantage channels. The first, Differential Answer-Probe Reward (DAPR), is a self-supervised, judge-free tool-contribution advantage that credits each tool call by its own effect on answering correctly. Probe tokens inserted into the model's reasoning elicit its predictions with and without the tool, and the difference in outcome reward is taken as the call's value: positive for a useful call, negative for a misleading one, and zero for one that changes nothing. This reuses the existing answer checker with no auxiliary judge, and, being a difference rather than an absolute probe score, is naturally robust to probe-hacking. The second is the outcome advantage from the final answer, distributed by Outcome-Gated Advantage Routing (OGAR): a parameter-free rule that, conditioned on the call's outcome, delivers this credit only to the responsible segments, suppressing wasted tool calls without any cost term. We train TACO through a two-stage SFT+RL pipeline. Extensive experiments across perception, reasoning, and general multimodal benchmarks show that it yields consistent accuracy gains and learns to invoke its tools only when they help.