APIGen: Canalización Automatizada para la Generación de Conjuntos de Datos Verificables y Diversos para Llamadas a Funciones
APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets
June 26, 2024
Autores: Zuxin Liu, Thai Hoang, Jianguo Zhang, Ming Zhu, Tian Lan, Shirley Kokane, Juntao Tan, Weiran Yao, Zhiwei Liu, Yihao Feng, Rithesh Murthy, Liangwei Yang, Silvio Savarese, Juan Carlos Niebles, Huan Wang, Shelby Heinecke, Caiming Xiong
cs.AI
Resumen
El avance de los modelos de agentes de llamada de funciones requiere conjuntos de datos diversos, confiables y de alta calidad. Este artículo presenta APIGen, una canalización automatizada de generación de datos diseñada para sintetizar conjuntos de datos verificables y de alta calidad para aplicaciones de llamada de funciones. Utilizamos APIGen y recopilamos 3,673 API ejecutables en 21 categorías diferentes para generar conjuntos de datos diversos de llamada de funciones de manera escalable y estructurada. Cada dato en nuestro conjunto se verifica a través de tres etapas jerárquicas: verificación de formato, ejecuciones reales de funciones y verificación semántica, asegurando su confiabilidad y corrección. Demostramos que los modelos entrenados con nuestros conjuntos de datos curados, incluso con solo 7B parámetros, pueden alcanzar un rendimiento de vanguardia en el Berkeley Function-Calling Benchmark, superando a múltiples modelos GPT-4. Además, nuestro modelo de 1B logra un rendimiento excepcional, superando a GPT-3.5-Turbo y Claude-3 Haiku. Publicamos un conjunto de datos que contiene 60,000 entradas de alta calidad, con el objetivo de avanzar en el campo de los dominios de agentes de llamada de funciones. El conjunto de datos está disponible en Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k y en la página principal del proyecto: https://apigen-pipeline.github.io/.
English
The advancement of function-calling agent models requires diverse, reliable,
and high-quality datasets. This paper presents APIGen, an automated data
generation pipeline designed to synthesize verifiable high-quality datasets for
function-calling applications. We leverage APIGen and collect 3,673 executable
APIs across 21 different categories to generate diverse function-calling
datasets in a scalable and structured manner. Each data in our dataset is
verified through three hierarchical stages: format checking, actual function
executions, and semantic verification, ensuring its reliability and
correctness. We demonstrate that models trained with our curated datasets, even
with only 7B parameters, can achieve state-of-the-art performance on the
Berkeley Function-Calling Benchmark, outperforming multiple GPT-4 models.
Moreover, our 1B model achieves exceptional performance, surpassing
GPT-3.5-Turbo and Claude-3 Haiku. We release a dataset containing 60,000
high-quality entries, aiming to advance the field of function-calling agent
domains. The dataset is available on Huggingface:
https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k and the
project homepage: https://apigen-pipeline.github.io/