OTC: Chiamate Ottimali di Strumenti tramite Apprendimento per Rinforzo

OTC: Optimal Tool Calls via Reinforcement Learning

April 21, 2025

Autori: Hongru Wang, Cheng Qian, Wanjun Zhong, Xiusi Chen, Jiahao Qiu, Shijue Huang, Bowen Jin, Mengdi Wang, Kam-Fai Wong, Heng Ji

cs.AI

Abstract

Il ragionamento integrato con strumenti (Tool-integrated Reasoning, TIR) potenzia i grandi modelli linguistici (Large Language Models, LLMs) con la capacità di invocare strumenti esterni, come motori di ricerca e interpreti di codice, per risolvere compiti che vanno oltre le capacità del ragionamento basato esclusivamente sul linguaggio. Sebbene l'apprendimento per rinforzo (Reinforcement Learning, RL) abbia dimostrato potenzialità nel migliorare il TIR ottimizzando la correttezza delle risposte finali, gli approcci esistenti spesso trascurano l'efficienza e i costi associati all'uso degli strumenti. Ciò può portare a comportamenti subottimali, come un eccessivo numero di chiamate agli strumenti che aumenta l'overhead computazionale e finanziario, o un uso insufficiente degli strumenti che compromette la qualità delle risposte. In questo lavoro, proponiamo l'Optimal Tool Call-controlled Policy Optimization (OTC-PO), un framework basato su RL semplice ma efficace che incoraggia i modelli a produrre risposte accurate con un numero minimo di chiamate agli strumenti. Il nostro metodo introduce una ricompensa integrata con gli strumenti che considera congiuntamente la correttezza e l'efficienza nell'uso degli strumenti, promuovendo un'elevata produttività degli strumenti stessi. Istanziamo questo framework sia all'interno del Proximal Policy Optimization (PPO) che del Group Relative Preference Optimization (GRPO), ottenendo rispettivamente OTC-PPO e OTC-GRPO. Esperimenti condotti con Qwen-2.5 e Qwen-Math su diversi benchmark di domande e risposte mostrano che il nostro approccio riduce le chiamate agli strumenti fino al 73,1% e migliora la produttività degli strumenti fino al 229,4%, mantenendo una precisione delle risposte comparabile. Per quanto ne sappiamo, questo è il primo framework basato su RL che ottimizza esplicitamente l'efficienza nell'uso degli strumenti nel TIR.

English

Tool-integrated reasoning (TIR) augments large language models (LLMs) with the ability to invoke external tools, such as search engines and code interpreters, to solve tasks beyond the capabilities of language-only reasoning. While reinforcement learning (RL) has shown promise in improving TIR by optimizing final answer correctness, existing approaches often overlook the efficiency and cost associated with tool usage. This can lead to suboptimal behavior, including excessive tool calls that increase computational and financial overhead, or insufficient tool use that compromises answer quality. In this work, we propose Optimal Tool Call-controlled Policy Optimization (OTC-PO), a simple yet effective RL-based framework that encourages models to produce accurate answers with minimal tool calls. Our method introduces a tool-integrated reward that jointly considers correctness and tool efficiency, promoting high tool productivity. We instantiate this framework within both Proximal Policy Optimization (PPO) and Group Relative Preference Optimization (GRPO), resulting in OTC-PPO and OTC-GRPO. Experiments with Qwen-2.5 and Qwen-Math across multiple QA benchmarks show that our approach reduces tool calls by up to 73.1\% and improves tool productivity by up to 229.4\%, while maintaining comparable answer accuracy. To the best of our knowledge, this is the first RL-based framework that explicitly optimizes tool-use efficiency in TIR.