TaskCraft: Автоматическая генерация агентных задач

TaskCraft: Automated Generation of Agentic Tasks

June 11, 2025

Авторы: Dingfeng Shi, Jingyi Cao, Qianben Chen, Weichen Sun, Weizhen Li, Hongxuan Lu, Fangchen Dong, Tianrui Qin, King Zhu, Minghao Yang, Jian Yang, Ge Zhang, Jiaheng Liu, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Аннотация

Агентные задачи, требующие многошагового решения проблем с автономностью, использованием инструментов и адаптивным мышлением, становятся все более важными для развития NLP и ИИ. Однако существующие данные инструкций не включают взаимодействие с инструментами, а текущие бенчмарки для агентных задач зависят от дорогостоящей аннотации человеком, что ограничивает их масштабируемость. Мы представляем TaskCraft — автоматизированный рабочий процесс для генерации задач с масштабируемой сложностью, использованием нескольких инструментов и проверяемыми траекториями выполнения. TaskCraft расширяет атомарные задачи с помощью глубинных и широтных расширений, создавая структурно и иерархически сложные вызовы. Эмпирические результаты показывают, что такие задачи улучшают оптимизацию подсказок в процессе генерации и повышают эффективность контролируемой тонкой настройки агентных базовых моделей. Мы представляем крупномасштабный синтетический набор данных, содержащий около 36 000 задач различной сложности, для поддержки будущих исследований по настройке и оценке агентов.

English

Agentic tasks, which require multi-step problem solving with autonomy, tool use, and adaptive reasoning, are becoming increasingly central to the advancement of NLP and AI. However, existing instruction data lacks tool interaction, and current agentic benchmarks rely on costly human annotation, limiting their scalability. We introduce TaskCraft, an automated workflow for generating difficulty-scalable, multi-tool, and verifiable agentic tasks with execution trajectories. TaskCraft expands atomic tasks using depth-based and width-based extensions to create structurally and hierarchically complex challenges. Empirical results show that these tasks improve prompt optimization in the generation workflow and enhance supervised fine-tuning of agentic foundation models. We present a large-scale synthetic dataset of approximately 36,000 tasks with varying difficulty to support future research on agent tuning and evaluation.