TaskCraft : Génération automatisée de tâches agentiques

TaskCraft: Automated Generation of Agentic Tasks

June 11, 2025

Auteurs: Dingfeng Shi, Jingyi Cao, Qianben Chen, Weichen Sun, Weizhen Li, Hongxuan Lu, Fangchen Dong, Tianrui Qin, King Zhu, Minghao Yang, Jian Yang, Ge Zhang, Jiaheng Liu, Changwang Zhang, Jun Wang, Yuchen Eleanor Jiang, Wangchunshu Zhou

cs.AI

Résumé

Les tâches agentiques, qui nécessitent une résolution de problèmes en plusieurs étapes avec autonomie, utilisation d'outils et raisonnement adaptatif, deviennent de plus en plus centrales pour l'avancement du NLP et de l'IA. Cependant, les données d'instruction existantes manquent d'interaction avec les outils, et les benchmarks agentiques actuels reposent sur une annotation humaine coûteuse, limitant leur évolutivité. Nous présentons TaskCraft, un flux de travail automatisé pour générer des tâches agentiques évolutives en difficulté, multi-outils et vérifiables, accompagnées de trajectoires d'exécution. TaskCraft étend les tâches atomiques en utilisant des extensions basées sur la profondeur et la largeur pour créer des défis structurellement et hiérarchiquement complexes. Les résultats empiriques montrent que ces tâches améliorent l'optimisation des prompts dans le flux de travail de génération et renforcent le fine-tuning supervisé des modèles de base agentiques. Nous proposons un ensemble de données synthétiques à grande échelle d'environ 36 000 tâches de difficulté variable pour soutenir les recherches futures sur le réglage et l'évaluation des agents.

English

Agentic tasks, which require multi-step problem solving with autonomy, tool use, and adaptive reasoning, are becoming increasingly central to the advancement of NLP and AI. However, existing instruction data lacks tool interaction, and current agentic benchmarks rely on costly human annotation, limiting their scalability. We introduce TaskCraft, an automated workflow for generating difficulty-scalable, multi-tool, and verifiable agentic tasks with execution trajectories. TaskCraft expands atomic tasks using depth-based and width-based extensions to create structurally and hierarchically complex challenges. Empirical results show that these tasks improve prompt optimization in the generation workflow and enhance supervised fine-tuning of agentic foundation models. We present a large-scale synthetic dataset of approximately 36,000 tasks with varying difficulty to support future research on agent tuning and evaluation.