Как реформулирование входных данных может повысить точность использования инструментов в сложной динамической среде? Исследование на основе τ-bench

How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on τ-bench

August 28, 2025

Авторы: Venkatesh Mishra, Amir Saeidi, Satyam Raj, Mutsumi Nakamura, Jayanth Srinivasa, Gaowen Liu, Ali Payani, Chitta Baral

cs.AI

Аннотация

Недавние достижения в области способностей к рассуждению и планированию у крупных языковых моделей (LLM) открыли их потенциал в качестве автономных агентов, способных использовать инструменты в динамических средах. Однако в многоходовых диалоговых средах, таких как tau-bench, эти агенты часто сталкиваются с трудностями в последовательном рассуждении, соблюдении доменно-специфических политик и извлечении корректной информации на протяжении длительной последовательности вызовов инструментов и диалогов. Чтобы выявить и устранить эти недостатки, мы проводим всесторонний ручной анализ типичных ошибок, возникающих в траекториях диалогов. Затем мы экспериментируем с переформулировкой входных данных для агента, вызывающего инструменты, с целью улучшения принятия решений агентом. Наконец, мы предлагаем фреймворк Input-Reformulation Multi-Agent (IRMA), который автоматически переформулирует пользовательские запросы, дополненные соответствующими доменными правилами и предложениями инструментов, чтобы агент мог сосредоточиться на них. Результаты показывают, что IRMA значительно превосходит ReAct, Function Calling и Self-Reflection на 16,1%, 12,7% и 19,1% соответственно по общим показателям pass^5. Эти результаты подчеркивают превосходную надежность и согласованность IRMA по сравнению с другими методами в динамических средах.

English

Recent advances in reasoning and planning capabilities of large language models (LLMs) have enabled their potential as autonomous agents capable of tool use in dynamic environments. However, in multi-turn conversational environments like tau-bench, these agents often struggle with consistent reasoning, adherence to domain-specific policies, and extracting correct information over a long horizon of tool-calls and conversation. To capture and mitigate these failures, we conduct a comprehensive manual analysis of the common errors occurring in the conversation trajectories. We then experiment with reformulations of inputs to the tool-calling agent for improvement in agent decision making. Finally, we propose the Input-Reformulation Multi-Agent (IRMA) framework, which automatically reformulates user queries augmented with relevant domain rules and tool suggestions for the tool-calling agent to focus on. The results show that IRMA significantly outperforms ReAct, Function Calling, and Self-Reflection by 16.1%, 12.7%, and 19.1%, respectively, in overall pass^5 scores. These findings highlight the superior reliability and consistency of IRMA compared to other methods in dynamic environments.