TaskCraft: Automatisierte Generierung agentenbasierter Aufgaben

TaskCraft: Automated Generation of Agentic Tasks

June 11, 2025

Autoren: Dingfeng Shi, Jingyi Cao, Qianben Chen, Weichen Sun, Weizhen Li, Hongxuan Lu, Fangchen Dong, Tianrui Qin, King Zhu, Minghao Yang, Jian Yang, Ge Zhang, Jiaheng Liu, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Zusammenfassung

Agentische Aufgaben, die mehrstufige Problemlösung mit Autonomie, Werkzeugnutzung und adaptiver Argumentation erfordern, werden zunehmend zentral für die Weiterentwicklung von NLP und KI. Allerdings mangelt es bestehenden Instruktionsdaten an Werkzeuginteraktion, und aktuelle Benchmarks für agentische Systeme stützen sich auf kostspielige menschliche Annotation, was ihre Skalierbarkeit einschränkt. Wir stellen TaskCraft vor, einen automatisierten Workflow zur Generierung von skalierbar schwierigen, multi-tool-basierten und verifizierbaren agentischen Aufgaben mit Ausführungspfaden. TaskCraft erweitert atomare Aufgaben durch tiefen- und breitenbasierte Erweiterungen, um strukturell und hierarchisch komplexe Herausforderungen zu schaffen. Empirische Ergebnisse zeigen, dass diese Aufgaben die Prompt-Optimierung im Generierungsprozess verbessern und das überwachte Fein-Tuning von agentischen Basismodellen fördern. Wir präsentieren einen umfangreichen synthetischen Datensatz mit etwa 36.000 Aufgaben unterschiedlicher Schwierigkeit, um zukünftige Forschung zur Feinabstimmung und Bewertung von Agenten zu unterstützen.

English

Agentic tasks, which require multi-step problem solving with autonomy, tool use, and adaptive reasoning, are becoming increasingly central to the advancement of NLP and AI. However, existing instruction data lacks tool interaction, and current agentic benchmarks rely on costly human annotation, limiting their scalability. We introduce TaskCraft, an automated workflow for generating difficulty-scalable, multi-tool, and verifiable agentic tasks with execution trajectories. TaskCraft expands atomic tasks using depth-based and width-based extensions to create structurally and hierarchically complex challenges. Empirical results show that these tasks improve prompt optimization in the generation workflow and enhance supervised fine-tuning of agentic foundation models. We present a large-scale synthetic dataset of approximately 36,000 tasks with varying difficulty to support future research on agent tuning and evaluation.