Wie kann die Reformulierung von Eingaben die Genauigkeit der Werkzeugnutzung in einer komplexen dynamischen Umgebung verbessern? Eine Studie zu τ-bench

How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on τ-bench

August 28, 2025

papers.authors: Venkatesh Mishra, Amir Saeidi, Satyam Raj, Mutsumi Nakamura, Jayanth Srinivasa, Gaowen Liu, Ali Payani, Chitta Baral

cs.AI

papers.abstract

Jüngste Fortschritte in den Fähigkeiten zur logischen Schlussfolgerung und Planung von großen Sprachmodellen (LLMs) haben ihr Potenzial als autonome Agenten, die Werkzeuge in dynamischen Umgebungen nutzen können, aufgezeigt. In mehrschrittigen Konversationsumgebungen wie tau-bench haben diese Agenten jedoch oft Schwierigkeiten mit konsistenter Schlussfolgerung, der Einhaltung domänenspezifischer Richtlinien und der korrekten Extraktion von Informationen über einen langen Zeitraum von Werkzeugaufrufen und Konversationen. Um diese Fehler zu erfassen und zu mindern, führen wir eine umfassende manuelle Analyse der häufig auftretenden Fehler in den Konversationsverläufen durch. Anschließend experimentieren wir mit der Neuformulierung der Eingaben für den werkzeugnutzenden Agenten, um die Entscheidungsfindung des Agenten zu verbessern. Schließlich schlagen wir das Input-Reformulation Multi-Agent (IRMA)-Framework vor, das automatisch Benutzeranfragen neu formuliert und mit relevanten Domänenregeln und Werkzeugvorschlägen ergänzt, auf die sich der werkzeugnutzende Agent konzentrieren soll. Die Ergebnisse zeigen, dass IRMA ReAct, Function Calling und Self-Reflection in den Gesamt-Pass^5-Werten um 16,1 %, 12,7 % bzw. 19,1 % deutlich übertrifft. Diese Ergebnisse unterstreichen die überlegene Zuverlässigkeit und Konsistenz von IRMA im Vergleich zu anderen Methoden in dynamischen Umgebungen.

English

Recent advances in reasoning and planning capabilities of large language models (LLMs) have enabled their potential as autonomous agents capable of tool use in dynamic environments. However, in multi-turn conversational environments like tau-bench, these agents often struggle with consistent reasoning, adherence to domain-specific policies, and extracting correct information over a long horizon of tool-calls and conversation. To capture and mitigate these failures, we conduct a comprehensive manual analysis of the common errors occurring in the conversation trajectories. We then experiment with reformulations of inputs to the tool-calling agent for improvement in agent decision making. Finally, we propose the Input-Reformulation Multi-Agent (IRMA) framework, which automatically reformulates user queries augmented with relevant domain rules and tool suggestions for the tool-calling agent to focus on. The results show that IRMA significantly outperforms ReAct, Function Calling, and Self-Reflection by 16.1%, 12.7%, and 19.1%, respectively, in overall pass^5 scores. These findings highlight the superior reliability and consistency of IRMA compared to other methods in dynamic environments.