API-BLEND : Un corpus complet pour l'entraînement et l'évaluation des modèles de langage dédiés aux API

API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

February 23, 2024

Auteurs: Kinjal Basu, Ibrahim Abdelaziz, Subhajit Chaudhury, Soham Dan, Maxwell Crouse, Asim Munawar, Sadhana Kumaravel, Vinod Muthusamy, Pavan Kapanipathi, Luis A. Lastras

cs.AI

Résumé

Il existe un besoin croissant pour les modèles de langage à grande échelle (LLMs) d'utiliser efficacement des outils et des interfaces de programmation d'applications (APIs) externes afin de planifier et d'accomplir des tâches. Par conséquent, les méthodes permettant d'acquérir des quantités suffisantes de données d'entraînement et de test impliquant des appels à des outils ou des APIs suscitent un intérêt considérable. Deux axes de recherche se sont imposés comme les stratégies prédominantes pour relever ce défi. Le premier s'est concentré sur les techniques de génération de données synthétiques, tandis que le second a impliqué la curation de jeux de données adjacents à des tâches, qui peuvent être transformés en tâches basées sur des APIs ou des outils. Dans cet article, nous nous concentrons sur la tâche d'identification, de curation et de transformation de jeux de données existants, et introduisons API-BLEND, un vaste corpus destiné à l'entraînement et au test systématique de LLMs augmentés par des outils. Les jeux de données imitent des scénarios réels impliquant des tâches liées aux APIs, telles que la détection d'APIs ou d'outils, le remplissage de slots et l'ordonnancement des APIs détectées. Nous démontrons l'utilité du jeu de données API-BLEND à la fois pour l'entraînement et pour l'évaluation comparative.

English

There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.