Como a Reformulação de Entradas Pode Melhorar a Precisão no Uso de Ferramentas em um Ambiente Dinâmico Complexo? Um Estudo sobre o τ-bench

How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on τ-bench

August 28, 2025

Autores: Venkatesh Mishra, Amir Saeidi, Satyam Raj, Mutsumi Nakamura, Jayanth Srinivasa, Gaowen Liu, Ali Payani, Chitta Baral

cs.AI

Resumo

Os recentes avanços nas capacidades de raciocínio e planejamento de modelos de linguagem de grande escala (LLMs) têm possibilitado seu potencial como agentes autônomos capazes de utilizar ferramentas em ambientes dinâmicos. No entanto, em ambientes conversacionais de múltiplos turnos, como o tau-bench, esses agentes frequentemente enfrentam dificuldades com raciocínio consistente, adesão a políticas específicas do domínio e extração de informações corretas ao longo de um horizonte prolongado de chamadas de ferramentas e conversas. Para capturar e mitigar essas falhas, realizamos uma análise manual abrangente dos erros comuns que ocorrem nas trajetórias de conversação. Em seguida, experimentamos com reformulações das entradas para o agente de chamada de ferramentas, visando melhorar a tomada de decisão do agente. Por fim, propomos o framework Input-Reformulation Multi-Agent (IRMA), que reformula automaticamente as consultas do usuário, aumentadas com regras de domínio relevantes e sugestões de ferramentas, para que o agente de chamada de ferramentas se concentre. Os resultados mostram que o IRMA supera significativamente o ReAct, Function Calling e Self-Reflection em 16,1%, 12,7% e 19,1%, respectivamente, nas pontuações gerais de pass^5. Esses achados destacam a superior confiabilidade e consistência do IRMA em comparação com outros métodos em ambientes dinâmicos.

English

Recent advances in reasoning and planning capabilities of large language models (LLMs) have enabled their potential as autonomous agents capable of tool use in dynamic environments. However, in multi-turn conversational environments like tau-bench, these agents often struggle with consistent reasoning, adherence to domain-specific policies, and extracting correct information over a long horizon of tool-calls and conversation. To capture and mitigate these failures, we conduct a comprehensive manual analysis of the common errors occurring in the conversation trajectories. We then experiment with reformulations of inputs to the tool-calling agent for improvement in agent decision making. Finally, we propose the Input-Reformulation Multi-Agent (IRMA) framework, which automatically reformulates user queries augmented with relevant domain rules and tool suggestions for the tool-calling agent to focus on. The results show that IRMA significantly outperforms ReAct, Function Calling, and Self-Reflection by 16.1%, 12.7%, and 19.1%, respectively, in overall pass^5 scores. These findings highlight the superior reliability and consistency of IRMA compared to other methods in dynamic environments.