Come può la riformulazione degli input migliorare l'accuratezza nell'uso degli strumenti in un ambiente dinamico complesso? Uno studio su τ-bench

How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on τ-bench

August 28, 2025

Autori: Venkatesh Mishra, Amir Saeidi, Satyam Raj, Mutsumi Nakamura, Jayanth Srinivasa, Gaowen Liu, Ali Payani, Chitta Baral

cs.AI

Abstract

I recenti progressi nelle capacità di ragionamento e pianificazione dei grandi modelli linguistici (LLM) hanno dimostrato il loro potenziale come agenti autonomi in grado di utilizzare strumenti in ambienti dinamici. Tuttavia, in contesti conversazionali multi-turn come tau-bench, questi agenti spesso incontrano difficoltà nel mantenere un ragionamento coerente, nell'aderire a politiche specifiche del dominio e nell'estrarre informazioni corrette su un lungo orizzonte di chiamate a strumenti e conversazioni. Per identificare e mitigare questi fallimenti, conduciamo un'analisi manuale completa degli errori comuni che si verificano nelle traiettorie conversazionali. Successivamente, sperimentiamo riformulazioni degli input forniti all'agente che chiama gli strumenti, al fine di migliorare il processo decisionale dell'agente. Infine, proponiamo il framework Input-Reformulation Multi-Agent (IRMA), che riformula automaticamente le query dell'utente arricchendole con regole di dominio pertinenti e suggerimenti di strumenti su cui l'agente deve concentrarsi. I risultati mostrano che IRMA supera significativamente ReAct, Function Calling e Self-Reflection rispettivamente del 16,1%, 12,7% e 19,1% nei punteggi complessivi pass^5. Questi risultati evidenziano l'affidabilità e la coerenza superiori di IRMA rispetto ad altri metodi in ambienti dinamici.

English

Recent advances in reasoning and planning capabilities of large language models (LLMs) have enabled their potential as autonomous agents capable of tool use in dynamic environments. However, in multi-turn conversational environments like tau-bench, these agents often struggle with consistent reasoning, adherence to domain-specific policies, and extracting correct information over a long horizon of tool-calls and conversation. To capture and mitigate these failures, we conduct a comprehensive manual analysis of the common errors occurring in the conversation trajectories. We then experiment with reformulations of inputs to the tool-calling agent for improvement in agent decision making. Finally, we propose the Input-Reformulation Multi-Agent (IRMA) framework, which automatically reformulates user queries augmented with relevant domain rules and tool suggestions for the tool-calling agent to focus on. The results show that IRMA significantly outperforms ReAct, Function Calling, and Self-Reflection by 16.1%, 12.7%, and 19.1%, respectively, in overall pass^5 scores. These findings highlight the superior reliability and consistency of IRMA compared to other methods in dynamic environments.