APIGen: Автоматизированный конвейер для создания проверяемых и разнообразных наборов данных вызова функций.

APIGen: Automated Pipeline for Generating Verifiable and Diverse Function-Calling Datasets

June 26, 2024

Авторы: Zuxin Liu, Thai Hoang, Jianguo Zhang, Ming Zhu, Tian Lan, Shirley Kokane, Juntao Tan, Weiran Yao, Zhiwei Liu, Yihao Feng, Rithesh Murthy, Liangwei Yang, Silvio Savarese, Juan Carlos Niebles, Huan Wang, Shelby Heinecke, Caiming Xiong

cs.AI

Аннотация

Для развития моделей агентов, вызывающих функции, требуются разнообразные, надежные и высококачественные наборы данных. В данной статье представлен APIGen, автоматизированный конвейер генерации данных, разработанный для синтеза верифицируемых наборов данных высокого качества для приложений вызова функций. Мы используем APIGen и собираем 3 673 исполнимых API из 21 различной категории для создания разнообразных наборов данных вызова функций масштабируемым и структурированным образом. Каждое данные в нашем наборе данных проверяется на трех уровнях иерархии: проверка формата, фактическое выполнение функций и семантическая верификация, обеспечивая его надежность и корректность. Мы демонстрируем, что модели, обученные нашими отобранными наборами данных, даже с всего 7 миллиардами параметров, могут достичь передовой производительности на тесте Беркли по вызову функций, превзойдя несколько моделей GPT-4. Более того, наша модель с 1 миллиардом параметров достигает исключительной производительности, превосходя GPT-3.5-Turbo и Claude-3 Haiku. Мы выпустили набор данных, содержащий 60 000 записей высокого качества, с целью продвижения области агентов, вызывающих функции. Набор данных доступен на Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k и на домашней странице проекта: https://apigen-pipeline.github.io/

English

The advancement of function-calling agent models requires diverse, reliable, and high-quality datasets. This paper presents APIGen, an automated data generation pipeline designed to synthesize verifiable high-quality datasets for function-calling applications. We leverage APIGen and collect 3,673 executable APIs across 21 different categories to generate diverse function-calling datasets in a scalable and structured manner. Each data in our dataset is verified through three hierarchical stages: format checking, actual function executions, and semantic verification, ensuring its reliability and correctness. We demonstrate that models trained with our curated datasets, even with only 7B parameters, can achieve state-of-the-art performance on the Berkeley Function-Calling Benchmark, outperforming multiple GPT-4 models. Moreover, our 1B model achieves exceptional performance, surpassing GPT-3.5-Turbo and Claude-3 Haiku. We release a dataset containing 60,000 high-quality entries, aiming to advance the field of function-calling agent domains. The dataset is available on Huggingface: https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k and the project homepage: https://apigen-pipeline.github.io/