APIGen-MT: Agentische Pipeline zur Multi-Turn-Datengenerierung durch simuliertes Agent-Mensch-Interplay

APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay

April 4, 2025

Autoren: Akshara Prabhakar, Zuxin Liu, Weiran Yao, Jianguo Zhang, Ming Zhu, Shiyu Wang, Zhiwei Liu, Tulika Awalgaonkar, Haolin Chen, Thai Hoang, Juan Carlos Niebles, Shelby Heinecke, Huan Wang, Silvio Savarese, Caiming Xiong

cs.AI

Zusammenfassung

Die Ausbildung effektiver KI-Agenten für Mehrfachinteraktionen erfordert hochwertige Daten, die realistische Mensch-Agenten-Dynamiken erfassen. Solche Daten sind jedoch rar und teuer, manuell zu sammeln. Wir stellen APIGen-MT vor, ein zweiphasiges Framework, das überprüfbare und vielfältige Mehrfachinteraktionsdaten für Agenten generiert. In der ersten Phase erstellt unsere agentenbasierte Pipeline detaillierte Aufgabenentwürfe mit Ground-Truth-Aktionen, wobei ein Komitee von LLM-Gutachtern und iterative Feedback-Schleifen genutzt werden. Diese Entwürfe werden dann durch simuliertes Mensch-Agenten-Zusammenspiel in vollständige Interaktionsverläufe umgewandelt. Wir trainieren eine Familie von Modellen – die xLAM-2-fc-r-Serie mit Größen von 1B bis 70B Parametern. Unsere Modelle übertreffen Spitzenmodelle wie GPT-4o und Claude 3.5 auf den Benchmarks tau-bench und BFCL, wobei die kleineren Modelle ihre größeren Gegenstücke insbesondere in Mehrfachinteraktionsszenarien übertreffen und dabei eine überlegene Konsistenz über mehrere Durchläufe hinweg beibehalten. Umfassende Experimente zeigen, dass unser verifizierter Blueprint-to-Details-Ansatz hochwertige Trainingsdaten liefert, die die Entwicklung zuverlässigerer, effizienterer und leistungsfähigerer Agenten ermöglichen. Wir stellen sowohl die gesammelten synthetischen Daten als auch die trainierten xLAM-2-fc-r-Modelle als Open Source zur Verfügung, um die Forschung an KI-Agenten voranzutreiben. Die Modelle sind auf HuggingFace unter https://huggingface.co/collections/Salesforce/xlam-2-67ef5be12949d8dcdae354c4 und die Projektwebsite unter https://apigen-mt.github.io verfügbar.

English

Training effective AI agents for multi-turn interactions requires high-quality data that captures realistic human-agent dynamics, yet such data is scarce and expensive to collect manually. We introduce APIGen-MT, a two-phase framework that generates verifiable and diverse multi-turn agent data. In the first phase, our agentic pipeline produces detailed task blueprints with ground-truth actions, leveraging a committee of LLM reviewers and iterative feedback loops. These blueprints are then transformed into complete interaction trajectories through simulated human-agent interplay. We train a family of models -- the xLAM-2-fc-r series with sizes ranging from 1B to 70B parameters. Our models outperform frontier models such as GPT-4o and Claude 3.5 on tau-bench and BFCL benchmarks, with the smaller models surpassing their larger counterparts, particularly in multi-turn settings, while maintaining superior consistency across multiple trials. Comprehensive experiments demonstrate that our verified blueprint-to-details approach yields high-quality training data, enabling the development of more reliable, efficient, and capable agents. We open-source both the synthetic data collected and the trained xLAM-2-fc-r models to advance research in AI agents. Models are available on HuggingFace at https://huggingface.co/collections/Salesforce/xlam-2-67ef5be12949d8dcdae354c4 and project website is https://apigen-mt.github.io