APIGen-MT : Pipeline agentique pour la génération de données multi-tours via une simulation d'interaction agent-humain

APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay

April 4, 2025

Auteurs: Akshara Prabhakar, Zuxin Liu, Weiran Yao, Jianguo Zhang, Ming Zhu, Shiyu Wang, Zhiwei Liu, Tulika Awalgaonkar, Haolin Chen, Thai Hoang, Juan Carlos Niebles, Shelby Heinecke, Huan Wang, Silvio Savarese, Caiming Xiong

cs.AI

Résumé

L'entraînement d'agents IA efficaces pour des interactions multi-tours nécessite des données de haute qualité qui capturent les dynamiques réalistes entre humains et agents. Cependant, ces données sont rares et coûteuses à collecter manuellement. Nous présentons APIGen-MT, un cadre en deux phases qui génère des données d'agents multi-tours vérifiables et diversifiées. Dans la première phase, notre pipeline agentique produit des plans détaillés de tâches avec des actions de référence, en s'appuyant sur un comité de réviseurs LLM et des boucles de rétroaction itératives. Ces plans sont ensuite transformés en trajectoires d'interaction complètes grâce à une simulation d'interaction humain-agent. Nous entraînons une famille de modèles — la série xLAM-2-fc-r avec des tailles allant de 1B à 70B paramètres. Nos modèles surpassent les modèles de pointe tels que GPT-4o et Claude 3.5 sur les benchmarks tau-bench et BFCL, les modèles plus petits surpassant leurs homologues plus grands, en particulier dans des contextes multi-tours, tout en maintenant une cohérence supérieure sur plusieurs essais. Des expériences approfondies démontrent que notre approche vérifiée de planification aux détails produit des données d'entraînement de haute qualité, permettant le développement d'agents plus fiables, efficaces et compétents. Nous mettons en open source à la fois les données synthétiques collectées et les modèles xLAM-2-fc-r entraînés pour faire avancer la recherche sur les agents IA. Les modèles sont disponibles sur HuggingFace à l'adresse https://huggingface.co/collections/Salesforce/xlam-2-67ef5be12949d8dcdae354c4 et le site du projet est https://apigen-mt.github.io.

English

Training effective AI agents for multi-turn interactions requires high-quality data that captures realistic human-agent dynamics, yet such data is scarce and expensive to collect manually. We introduce APIGen-MT, a two-phase framework that generates verifiable and diverse multi-turn agent data. In the first phase, our agentic pipeline produces detailed task blueprints with ground-truth actions, leveraging a committee of LLM reviewers and iterative feedback loops. These blueprints are then transformed into complete interaction trajectories through simulated human-agent interplay. We train a family of models -- the xLAM-2-fc-r series with sizes ranging from 1B to 70B parameters. Our models outperform frontier models such as GPT-4o and Claude 3.5 on tau-bench and BFCL benchmarks, with the smaller models surpassing their larger counterparts, particularly in multi-turn settings, while maintaining superior consistency across multiple trials. Comprehensive experiments demonstrate that our verified blueprint-to-details approach yields high-quality training data, enabling the development of more reliable, efficient, and capable agents. We open-source both the synthetic data collected and the trained xLAM-2-fc-r models to advance research in AI agents. Models are available on HuggingFace at https://huggingface.co/collections/Salesforce/xlam-2-67ef5be12949d8dcdae354c4 and project website is https://apigen-mt.github.io