AsyncTool: Evaluación de la Capacidad de Llamada a Funciones Asíncronas en Escenarios de Múltiples Tareas

Resumen

Los agentes basados en modelos de lenguaje grande (LLM) han demostrado una gran capacidad para utilizar herramientas externas en la resolución de tareas complejas. Sin embargo, las evaluaciones existentes a menudo pasan por alto la dimensión temporal del uso de herramientas, especialmente el impacto de la latencia en las respuestas de las herramientas, y suelen limitarse a entornos de tarea única. En aplicaciones del mundo real, con frecuencia es necesario ejecutar múltiples tareas de forma concurrente, y la eficiencia global depende de si un agente puede aprovechar el tiempo de inactividad mientras espera las respuestas de las herramientas. Denominamos a esta capacidad llamada asíncrona a herramientas. Para evaluarla, proponemos AsyncTool, un punto de referencia para valorar agentes basados en LLM en entornos interactivos de múltiples tareas con retroalimentación retardada de herramientas. AsyncTool presenta simultáneamente varias tareas heterogéneas y simula la latencia realista de respuesta de las herramientas durante la ejecución. Mediante una estrategia híbrida de evolución de datos, construimos un conjunto de datos asíncrono y multitarea diverso que abarca múltiples escenarios y patrones de uso de herramientas. Evaluamos los modelos a nivel de paso, subtarea y tarea, e introducimos métricas orientadas a la eficiencia para medir la coordinación de tareas y la eficiencia de finalización. Experimentos exhaustivos muestran que la retroalimentación retardada de las herramientas plantea desafíos sustanciales para los agentes actuales y provoca una clara degradación del rendimiento. Los modelos que coordinan mejor el cambio entre tareas, el seguimiento de dependencias y el mantenimiento del estado obtienen un rendimiento superior en AsyncTool. Nuestro análisis identifica los modos de fallo clave de los agentes actuales que utilizan herramientas y proporciona información práctica para diseñar sistemas futuros con capacidades mejoradas de razonamiento temporal y coordinación.

English

Large language model (LLM)-based agents have shown strong capabilities in using external tools to solve complex tasks. However, existing evaluations often overlook the temporal dimension of tool use, especially the impact of tool response latency, and are usually limited to single-task settings. In real-world applications, multiple tasks often need to be executed concurrently, and overall efficiency depends on whether an agent can use idle time while waiting for tool responses. We refer to this capability as asynchronous tool calling. To evaluate it, we propose AsyncTool, a benchmark for assessing LLM-based agents in interactive multi-task tool-use environments with delayed tool feedback. AsyncTool presents multiple heterogeneous tasks simultaneously and simulates realistic tool response latency during execution. Using a hybrid data evolution strategy, we construct a diverse asynchronous multitasking dataset that covers multiple scenarios and tool-use patterns. We evaluate models at the step, sub-task, and task levels, and introduce efficiency-oriented metrics to measure task coordination and completion efficiency. Extensive experiments show that delayed tool feedback poses substantial challenges to current agents and leads to clear performance degradation. Models that better coordinate task switching, dependency tracking, and state maintenance achieve stronger performance on AsyncTool. Our analysis identifies key failure modes of current tool-using agents and provides practical insights for designing future systems with stronger temporal reasoning and coordination capabilities.