Hoe kan inputherformulering de nauwkeurigheid van toolgebruik verbeteren in een complexe dynamische omgeving? Een studie over τ-bench

How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on τ-bench

August 28, 2025

Auteurs: Venkatesh Mishra, Amir Saeidi, Satyam Raj, Mutsumi Nakamura, Jayanth Srinivasa, Gaowen Liu, Ali Payani, Chitta Baral

cs.AI

Samenvatting

Recente vooruitgang in de redeneer- en planningscapaciteiten van grote taalmodellen (LLMs) heeft hun potentieel als autonome agents die tools kunnen gebruiken in dynamische omgevingen vergroot. In multi-turn conversatieomgevingen zoals tau-bench hebben deze agents echter vaak moeite met consistent redeneren, het naleven van domeinspecifiek beleid en het correct extraheren van informatie over een lange reeks tool-aanroepen en conversaties. Om deze fouten vast te stellen en te mitigeren, voeren we een uitgebreide handmatige analyse uit van de veelvoorkomende fouten in de conversatietrajecten. Vervolgens experimenteren we met herformuleringen van de invoer voor de tool-aanroepende agent om de besluitvorming van de agent te verbeteren. Ten slotte stellen we het Input-Reformulering Multi-Agent (IRMA) framework voor, dat automatisch gebruikersvragen herformuleert, aangevuld met relevante domeinregels en toolsuggesties waar de tool-aanroepende agent zich op kan richten. De resultaten tonen aan dat IRMA significant beter presteert dan ReAct, Function Calling en Self-Reflection met respectievelijk 16,1%, 12,7% en 19,1% in de overall pass^5 scores. Deze bevindingen benadrukken de superieure betrouwbaarheid en consistentie van IRMA in vergelijking met andere methoden in dynamische omgevingen.

English

Recent advances in reasoning and planning capabilities of large language models (LLMs) have enabled their potential as autonomous agents capable of tool use in dynamic environments. However, in multi-turn conversational environments like tau-bench, these agents often struggle with consistent reasoning, adherence to domain-specific policies, and extracting correct information over a long horizon of tool-calls and conversation. To capture and mitigate these failures, we conduct a comprehensive manual analysis of the common errors occurring in the conversation trajectories. We then experiment with reformulations of inputs to the tool-calling agent for improvement in agent decision making. Finally, we propose the Input-Reformulation Multi-Agent (IRMA) framework, which automatically reformulates user queries augmented with relevant domain rules and tool suggestions for the tool-calling agent to focus on. The results show that IRMA significantly outperforms ReAct, Function Calling, and Self-Reflection by 16.1%, 12.7%, and 19.1%, respectively, in overall pass^5 scores. These findings highlight the superior reliability and consistency of IRMA compared to other methods in dynamic environments.