Comment la reformulation des entrées peut-elle améliorer la précision de l'utilisation des outils dans un environnement dynamique complexe ? Une étude sur τ-bench

How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on τ-bench

August 28, 2025

papers.authors: Venkatesh Mishra, Amir Saeidi, Satyam Raj, Mutsumi Nakamura, Jayanth Srinivasa, Gaowen Liu, Ali Payani, Chitta Baral

cs.AI

papers.abstract

Les récentes avancées dans les capacités de raisonnement et de planification des grands modèles de langage (LLMs) ont révélé leur potentiel en tant qu'agents autonomes capables d'utiliser des outils dans des environnements dynamiques. Cependant, dans des environnements conversationnels à plusieurs tours comme tau-bench, ces agents rencontrent souvent des difficultés avec un raisonnement cohérent, le respect des politiques spécifiques au domaine et l'extraction d'informations correctes sur une longue séquence d'appels d'outils et de conversations. Pour identifier et atténuer ces échecs, nous menons une analyse manuelle approfondie des erreurs courantes survenant dans les trajectoires conversationnelles. Nous expérimentons ensuite avec des reformulations des entrées pour l'agent appelant des outils afin d'améliorer la prise de décision de l'agent. Enfin, nous proposons le cadre Input-Reformulation Multi-Agent (IRMA), qui reformule automatiquement les requêtes utilisateur en les enrichissant de règles de domaine pertinentes et de suggestions d'outils pour que l'agent appelant des outils puisse se concentrer dessus. Les résultats montrent que IRMA surpasse significativement ReAct, Function Calling et Self-Reflection de 16,1 %, 12,7 % et 19,1 %, respectivement, en termes de scores globaux pass^5. Ces résultats mettent en évidence la fiabilité et la cohérence supérieures de IRMA par rapport aux autres méthodes dans des environnements dynamiques.

English

Recent advances in reasoning and planning capabilities of large language models (LLMs) have enabled their potential as autonomous agents capable of tool use in dynamic environments. However, in multi-turn conversational environments like tau-bench, these agents often struggle with consistent reasoning, adherence to domain-specific policies, and extracting correct information over a long horizon of tool-calls and conversation. To capture and mitigate these failures, we conduct a comprehensive manual analysis of the common errors occurring in the conversation trajectories. We then experiment with reformulations of inputs to the tool-calling agent for improvement in agent decision making. Finally, we propose the Input-Reformulation Multi-Agent (IRMA) framework, which automatically reformulates user queries augmented with relevant domain rules and tool suggestions for the tool-calling agent to focus on. The results show that IRMA significantly outperforms ReAct, Function Calling, and Self-Reflection by 16.1%, 12.7%, and 19.1%, respectively, in overall pass^5 scores. These findings highlight the superior reliability and consistency of IRMA compared to other methods in dynamic environments.