AsyncTool: Оценка возможности асинхронного вызова функций в сценариях многозадачности

Аннотация

Агенты на основе больших языковых моделей (LLM) демонстрируют высокую способность использовать внешние инструменты для решения сложных задач. Однако существующие оценки часто упускают из виду временной аспект использования инструментов, особенно влияние задержки ответа инструмента, и обычно ограничиваются однозадачными сценариями. В реальных приложениях часто требуется одновременное выполнение нескольких задач, а общая эффективность зависит от того, может ли агент использовать время простоя в ожидании ответов инструментов. Эту способность мы называем асинхронным вызовом инструментов. Для ее оценки мы предлагаем AsyncTool — бенчмарк для анализа агентов на основе LLM в интерактивных многозадачных средах с задержкой обратной связи от инструментов. AsyncTool одновременно предъявляет несколько разнородных задач и имитирует реалистичную задержку ответа инструмента в процессе выполнения. Используя гибридную стратегию эволюции данных, мы формируем разнообразный набор данных асинхронных многозадачных сценариев, охватывающий различные типы использования инструментов. Оценка производится на уровне шагов, подзадач и задач; вводятся метрики, ориентированные на эффективность, для измерения координации задач и скорости их завершения. Обширные эксперименты показывают, что задержка обратной связи от инструментов представляет собой серьезную проблему для современных агентов и приводит к явному снижению производительности. Модели, которые лучше координируют переключение между задачами, отслеживание зависимостей и поддержание состояния, демонстрируют более высокие результаты на AsyncTool. Наш анализ выявляет ключевые типы отказов текущих агентов, использующих инструменты, и предоставляет практические рекомендации для проектирования будущих систем с улучшенными способностями к временному рассуждению и координации.

English

Large language model (LLM)-based agents have shown strong capabilities in using external tools to solve complex tasks. However, existing evaluations often overlook the temporal dimension of tool use, especially the impact of tool response latency, and are usually limited to single-task settings. In real-world applications, multiple tasks often need to be executed concurrently, and overall efficiency depends on whether an agent can use idle time while waiting for tool responses. We refer to this capability as asynchronous tool calling. To evaluate it, we propose AsyncTool, a benchmark for assessing LLM-based agents in interactive multi-task tool-use environments with delayed tool feedback. AsyncTool presents multiple heterogeneous tasks simultaneously and simulates realistic tool response latency during execution. Using a hybrid data evolution strategy, we construct a diverse asynchronous multitasking dataset that covers multiple scenarios and tool-use patterns. We evaluate models at the step, sub-task, and task levels, and introduce efficiency-oriented metrics to measure task coordination and completion efficiency. Extensive experiments show that delayed tool feedback poses substantial challenges to current agents and leads to clear performance degradation. Models that better coordinate task switching, dependency tracking, and state maintenance achieve stronger performance on AsyncTool. Our analysis identifies key failure modes of current tool-using agents and provides practical insights for designing future systems with stronger temporal reasoning and coordination capabilities.