APIGen: 검증 가능하고 다양한 함수 호출 데이터셋 생성을 위한 자동화 파이프라인

APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets

June 26, 2024

저자: Zuxin Liu, Thai Hoang, Jianguo Zhang, Ming Zhu, Tian Lan, Shirley Kokane, Juntao Tan, Weiran Yao, Zhiwei Liu, Yihao Feng, Rithesh Murthy, Liangwei Yang, Silvio Savarese, Juan Carlos Niebles, Huan Wang, Shelby Heinecke, Caiming Xiong

cs.AI

초록

함수 호출 에이전트 모델의 발전을 위해서는 다양하고 신뢰할 수 있으며 고품질의 데이터셋이 필요합니다. 본 논문은 함수 호출 애플리케이션을 위해 검증 가능한 고품질 데이터셋을 합성하기 위해 설계된 자동화된 데이터 생성 파이프라인인 APIGen을 소개합니다. 우리는 APIGen을 활용하여 21개의 다양한 카테고리에서 3,673개의 실행 가능한 API를 수집하고, 확장 가능하고 구조화된 방식으로 다양한 함수 호출 데이터셋을 생성합니다. 데이터셋의 각 데이터는 형식 검사, 실제 함수 실행, 의미적 검증이라는 세 단계의 계층적 검증을 거쳐 신뢰성과 정확성을 보장합니다. 우리는 이렇게 정제된 데이터셋으로 훈련된 모델이 단 7B 파라미터만으로도 Berkeley Function-Calling Benchmark에서 최첨단 성능을 달성하며, 여러 GPT-4 모델을 능가함을 입증합니다. 더 나아가, 우리의 1B 모델은 GPT-3.5-Turbo와 Claude-3 Haiku를 능가하는 탁월한 성능을 보입니다. 우리는 함수 호출 에이전트 분야의 발전을 위해 60,000개의 고품질 항목을 포함한 데이터셋을 공개합니다. 이 데이터셋은 Huggingface(https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k)와 프로젝트 홈페이지(https://apigen-pipeline.github.io/)에서 확인할 수 있습니다.

English

The advancement of function-calling agent models requires diverse, reliable, and high-quality datasets. This paper presents APIGen, an automated data generation pipeline designed to synthesize verifiable high-quality datasets for function-calling applications. We leverage APIGen and collect 3,673 executable APIs across 21 different categories to generate diverse function-calling datasets in a scalable and structured manner. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We demonstrate that models trained with our curated datasets, even with only 7B parameters, can achieve state-of-the-art performance on the Berkeley Function-Calling Benchmark, outperforming multiple GPT-4 models. Moreover, our 1B model achieves exceptional performance, surpassing GPT-3.5-Turbo and Claude-3 Haiku. We release a dataset containing 60,000 high-quality entries, aiming to advance the field of function-calling agent domains. The dataset is available on Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k and the project homepage: https://apigen-pipeline.github.io/