OTC: Оптимальные вызовы инструментов с использованием обучения с подкреплением

OTC: Optimal Tool Calls via Reinforcement Learning

April 21, 2025

Авторы: Hongru Wang, Cheng Qian, Wanjun Zhong, Xiusi Chen, Jiahao Qiu, Shijue Huang, Bowen Jin, Mengdi Wang, Kam-Fai Wong, Heng Ji

cs.AI

Аннотация

Рассуждения с интеграцией инструментов (TIR) расширяют возможности крупных языковых моделей (LLM), позволяя им использовать внешние инструменты, такие как поисковые системы и интерпретаторы кода, для решения задач, выходящих за рамки возможностей чисто языковых рассуждений. Хотя обучение с подкреплением (RL) показало потенциал в улучшении TIR за счет оптимизации правильности конечных ответов, существующие подходы часто упускают из виду эффективность и стоимость использования инструментов. Это может привести к субоптимальному поведению, включая чрезмерное количество вызовов инструментов, что увеличивает вычислительные и финансовые затраты, или недостаточное использование инструментов, что снижает качество ответов. В данной работе мы предлагаем Оптимизацию политики с контролируемыми вызовами инструментов (OTC-PO), простую, но эффективную RL-основанную структуру, которая побуждает модели выдавать точные ответы с минимальным количеством вызовов инструментов. Наш метод вводит награду за интеграцию инструментов, которая учитывает как правильность, так и эффективность использования инструментов, способствуя высокой производительности инструментов. Мы реализуем эту структуру как в рамках Оптимизации проксимальной политики (PPO), так и в рамках Оптимизации относительных предпочтений групп (GRPO), получая OTC-PPO и OTC-GRPO. Эксперименты с моделями Qwen-2.5 и Qwen-Math на нескольких бенчмарках вопросов и ответов показывают, что наш подход сокращает количество вызовов инструментов до 73,1% и повышает их производительность до 229,4%, сохраняя при этом сопоставимую точность ответов. Насколько нам известно, это первая RL-основанная структура, которая явно оптимизирует эффективность использования инструментов в TIR.

English

Tool-integrated reasoning (TIR) augments large language models (LLMs) with the ability to invoke external tools, such as search engines and code interpreters, to solve tasks beyond the capabilities of language-only reasoning. While reinforcement learning (RL) has shown promise in improving TIR by optimizing final answer correctness, existing approaches often overlook the efficiency and cost associated with tool usage. This can lead to suboptimal behavior, including excessive tool calls that increase computational and financial overhead, or insufficient tool use that compromises answer quality. In this work, we propose Optimal Tool Call-controlled Policy Optimization (OTC-PO), a simple yet effective RL-based framework that encourages models to produce accurate answers with minimal tool calls. Our method introduces a tool-integrated reward that jointly considers correctness and tool efficiency, promoting high tool productivity. We instantiate this framework within both Proximal Policy Optimization (PPO) and Group Relative Preference Optimization (GRPO), resulting in OTC-PPO and OTC-GRPO. Experiments with Qwen-2.5 and Qwen-Math across multiple QA benchmarks show that our approach reduces tool calls by up to 73.1\% and improves tool productivity by up to 229.4\%, while maintaining comparable answer accuracy. To the best of our knowledge, this is the first RL-based framework that explicitly optimizes tool-use efficiency in TIR.