AsyncTool : Évaluation de la capacité d'appel de fonctions asynchrones dans des scénarios multitâches

Résumé

Les agents basés sur les grands modèles de langage (LLM) ont montré des capacités solides pour utiliser des outils externes afin de résoudre des tâches complexes. Cependant, les évaluations existantes négligent souvent la dimension temporelle de l'utilisation des outils, en particulier l'impact de la latence de réponse des outils, et se limitent généralement à des contextes de tâche unique. Dans les applications réelles, de multiples tâches doivent souvent être exécutées simultanément, et l'efficacité globale dépend de la capacité d'un agent à utiliser les temps d'inactivité pendant l'attente des réponses des outils. Nous appelons cette capacité l'appel d'outils asynchrone. Pour l'évaluer, nous proposons AsyncTool, un référentiel destiné à évaluer les agents basés sur les LLM dans des environnements interactifs d'utilisation d'outils multitâches avec un retour différé des outils. AsyncTool présente simultanément plusieurs tâches hétérogènes et simule une latence réaliste de réponse des outils pendant l'exécution. En utilisant une stratégie hybride d'évolution des données, nous construisons un ensemble de données asynchrones multitâches diversifié couvrant plusieurs scénarios et modèles d'utilisation d'outils. Nous évaluons les modèles aux niveaux de l'étape, de la sous-tâche et de la tâche, et introduisons des métriques orientées efficacité pour mesurer la coordination des tâches et l'efficacité d'achèvement. Des expériences approfondies montrent que le retour différé des outils pose des défis considérables aux agents actuels et entraîne une nette dégradation des performances. Les modèles qui coordonnent mieux le changement de tâche, le suivi des dépendances et la maintenance de l'état obtiennent de meilleures performances sur AsyncTool. Notre analyse identifie les principaux modes de défaillance des agents utilisant des outils actuels et fournit des perspectives pratiques pour concevoir de futurs systèmes dotés de capacités de raisonnement temporel et de coordination plus fortes.

English

Large language model (LLM)-based agents have shown strong capabilities in using external tools to solve complex tasks. However, existing evaluations often overlook the temporal dimension of tool use, especially the impact of tool response latency, and are usually limited to single-task settings. In real-world applications, multiple tasks often need to be executed concurrently, and overall efficiency depends on whether an agent can use idle time while waiting for tool responses. We refer to this capability as asynchronous tool calling. To evaluate it, we propose AsyncTool, a benchmark for assessing LLM-based agents in interactive multi-task tool-use environments with delayed tool feedback. AsyncTool presents multiple heterogeneous tasks simultaneously and simulates realistic tool response latency during execution. Using a hybrid data evolution strategy, we construct a diverse asynchronous multitasking dataset that covers multiple scenarios and tool-use patterns. We evaluate models at the step, sub-task, and task levels, and introduce efficiency-oriented metrics to measure task coordination and completion efficiency. Extensive experiments show that delayed tool feedback poses substantial challenges to current agents and leads to clear performance degradation. Models that better coordinate task switching, dependency tracking, and state maintenance achieve stronger performance on AsyncTool. Our analysis identifies key failure modes of current tool-using agents and provides practical insights for designing future systems with stronger temporal reasoning and coordination capabilities.