AsyncTool: Bewertung der asynchronen Funktionsaufruffähigkeit in Multitask-Szenarien

Zusammenfassung

Auf großen Sprachmodellen (LLM) basierende Agenten haben starke Fähigkeiten bei der Nutzung externer Werkzeuge zur Lösung komplexer Aufgaben gezeigt. Bestehende Evaluierungen übersehen jedoch oft die zeitliche Dimension der Werkzeugnutzung, insbesondere die Auswirkungen der Werkzeugantwortlatenz, und beschränken sich in der Regel auf Einzelaufgaben-Szenarien. In realen Anwendungen müssen häufig mehrere Aufgaben gleichzeitig ausgeführt werden, und die Gesamteffizienz hängt davon ab, ob ein Agent die Leerlaufzeit während des Wartens auf Werkzeugantworten nutzen kann. Diese Fähigkeit bezeichnen wir als asynchrone Werkzeugaufrufe. Um diese zu evaluieren, schlagen wir AsyncTool vor, einen Benchmark zur Bewertung LLM-basierter Agenten in interaktiven Multitasking-Werkzeugumgebungen mit verzögerter Werkzeugrückmeldung. AsyncTool präsentiert gleichzeitig mehrere heterogene Aufgaben und simuliert realistische Werkzeugantwortlatenzen während der Ausführung. Mithilfe einer hybriden Datenentwicklungsstrategie konstruieren wir einen vielfältigen, asynchronen Multitasking-Datensatz, der mehrere Szenarien und Werkzeugnutzungsmuster abdeckt. Wir evaluieren Modelle auf Schritt-, Teilaufgaben- und Aufgabenebene und führen effizienzorientierte Metriken ein, um Aufgabenkoordination und Bearbeitungseffizienz zu messen. Umfangreiche Experimente zeigen, dass verzögerte Werkzeugrückmeldungen erhebliche Herausforderungen für aktuelle Agenten darstellen und zu deutlichen Leistungseinbußen führen. Modelle, die Aufgabenwechsel, Abhängigkeitsverfolgung und Zustandserhaltung besser koordinieren, erzielen auf AsyncTool stärkere Leistungen. Unsere Analyse identifiziert zentrale Fehlermodi aktueller werkzeugnutzender Agenten und liefert praktische Einblicke für das Design zukünftiger Systeme mit verbesserten zeitlichen Denk- und Koordinationsfähigkeiten.

English

Large language model (LLM)-based agents have shown strong capabilities in using external tools to solve complex tasks. However, existing evaluations often overlook the temporal dimension of tool use, especially the impact of tool response latency, and are usually limited to single-task settings. In real-world applications, multiple tasks often need to be executed concurrently, and overall efficiency depends on whether an agent can use idle time while waiting for tool responses. We refer to this capability as asynchronous tool calling. To evaluate it, we propose AsyncTool, a benchmark for assessing LLM-based agents in interactive multi-task tool-use environments with delayed tool feedback. AsyncTool presents multiple heterogeneous tasks simultaneously and simulates realistic tool response latency during execution. Using a hybrid data evolution strategy, we construct a diverse asynchronous multitasking dataset that covers multiple scenarios and tool-use patterns. We evaluate models at the step, sub-task, and task levels, and introduce efficiency-oriented metrics to measure task coordination and completion efficiency. Extensive experiments show that delayed tool feedback poses substantial challenges to current agents and leads to clear performance degradation. Models that better coordinate task switching, dependency tracking, and state maintenance achieve stronger performance on AsyncTool. Our analysis identifies key failure modes of current tool-using agents and provides practical insights for designing future systems with stronger temporal reasoning and coordination capabilities.