AsyncTool: Avaliando a Capacidade de Chamada de Função Assíncrona em Cenários de Múltiplas Tarefas

Resumo

Agentes baseados em modelos de linguagem de grande escala (LLM) demonstraram fortes capacidades no uso de ferramentas externas para resolver tarefas complexas. No entanto, as avaliações existentes frequentemente negligenciam a dimensão temporal do uso de ferramentas, especialmente o impacto da latência de resposta das ferramentas, e geralmente se limitam a configurações de tarefa única. Em aplicações do mundo real, múltiplas tarefas frequentemente precisam ser executadas concorrentemente, e a eficiência geral depende de se um agente consegue utilizar o tempo ocioso enquanto aguarda respostas das ferramentas. Nós nos referimos a essa capacidade como chamada assíncrona de ferramentas. Para avaliá-la, propomos o AsyncTool, um benchmark para avaliar agentes baseados em LLM em ambientes interativos de multitarefas com feedback atrasado de ferramentas. O AsyncTool apresenta múltiplas tarefas heterogêneas simultaneamente e simula a latência realista de resposta de ferramentas durante a execução. Utilizando uma estratégia híbrida de evolução de dados, construímos um conjunto de dados diverso de multitarefas assíncronas que abrange múltiplos cenários e padrões de uso de ferramentas. Avaliamos modelos nos níveis de passo, subtarefa e tarefa, e introduzimos métricas orientadas à eficiência para medir a coordenação de tarefas e a eficiência de conclusão. Experimentos extensivos mostram que o feedback atrasado de ferramentas representa desafios substanciais para os agentes atuais e leva a uma clara degradação de desempenho. Modelos que coordenam melhor a alternância de tarefas, o rastreamento de dependências e a manutenção de estado alcançam desempenho mais forte no AsyncTool. Nossa análise identifica modos de falha chave dos agentes atuais que usam ferramentas e fornece insights práticos para projetar sistemas futuros com capacidades mais fortes de raciocínio temporal e coordenação.

English

Large language model (LLM)-based agents have shown strong capabilities in using external tools to solve complex tasks. However, existing evaluations often overlook the temporal dimension of tool use, especially the impact of tool response latency, and are usually limited to single-task settings. In real-world applications, multiple tasks often need to be executed concurrently, and overall efficiency depends on whether an agent can use idle time while waiting for tool responses. We refer to this capability as asynchronous tool calling. To evaluate it, we propose AsyncTool, a benchmark for assessing LLM-based agents in interactive multi-task tool-use environments with delayed tool feedback. AsyncTool presents multiple heterogeneous tasks simultaneously and simulates realistic tool response latency during execution. Using a hybrid data evolution strategy, we construct a diverse asynchronous multitasking dataset that covers multiple scenarios and tool-use patterns. We evaluate models at the step, sub-task, and task levels, and introduce efficiency-oriented metrics to measure task coordination and completion efficiency. Extensive experiments show that delayed tool feedback poses substantial challenges to current agents and leads to clear performance degradation. Models that better coordinate task switching, dependency tracking, and state maintenance achieve stronger performance on AsyncTool. Our analysis identifies key failure modes of current tool-using agents and provides practical insights for designing future systems with stronger temporal reasoning and coordination capabilities.