APIGen: 検証可能で多様な関数呼び出しデータセットを生成する自動化パイプライン

APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets

June 26, 2024

著者: Zuxin Liu, Thai Hoang, Jianguo Zhang, Ming Zhu, Tian Lan, Shirley Kokane, Juntao Tan, Weiran Yao, Zhiwei Liu, Yihao Feng, Rithesh Murthy, Liangwei Yang, Silvio Savarese, Juan Carlos Niebles, Huan Wang, Shelby Heinecke, Caiming Xiong

cs.AI

要旨

関数呼び出しエージェントモデルの進歩には、多様で信頼性が高く、質の高いデータセットが必要です。本論文では、関数呼び出しアプリケーション向けに検証可能な高品質データセットを合成するために設計された自動化データ生成パイプラインであるAPIGenを紹介します。APIGenを活用し、21の異なるカテゴリーにわたる3,673の実行可能なAPIを収集し、スケーラブルで構造化された方法で多様な関数呼び出しデータセットを生成します。データセット内の各データは、フォーマットチェック、実際の関数実行、および意味的検証という3つの階層的なステージを経て検証され、その信頼性と正確性が確保されます。私たちが作成したデータセットでトレーニングされたモデルは、たとえ7Bパラメータのみであっても、Berkeley Function-Calling Benchmarkにおいて最先端の性能を達成し、複数のGPT-4モデルを上回ることを実証しました。さらに、私たちの1Bモデルは、GPT-3.5-TurboやClaude-3 Haikuを凌ぐ優れた性能を発揮します。私たちは、関数呼び出しエージェント分野の進展を目指して、60,000の高品質エントリーを含むデータセットを公開します。このデータセットはHuggingface（https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k）およびプロジェクトホームページ（https://apigen-pipeline.github.io/）で利用可能です。

English

The advancement of function-calling agent models requires diverse, reliable, and high-quality datasets. This paper presents APIGen, an automated data generation pipeline designed to synthesize verifiable high-quality datasets for function-calling applications. We leverage APIGen and collect 3,673 executable APIs across 21 different categories to generate diverse function-calling datasets in a scalable and structured manner. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We demonstrate that models trained with our curated datasets, even with only 7B parameters, can achieve state-of-the-art performance on the Berkeley Function-Calling Benchmark, outperforming multiple GPT-4 models. Moreover, our 1B model achieves exceptional performance, surpassing GPT-3.5-Turbo and Claude-3 Haiku. We release a dataset containing 60,000 high-quality entries, aiming to advance the field of function-calling agent domains. The dataset is available on Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k and the project homepage: https://apigen-pipeline.github.io/