API-BLEND: Een uitgebreide corpus voor het trainen en benchmarken van API-LLM's

API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

February 23, 2024

Auteurs: Kinjal Basu, Ibrahim Abdelaziz, Subhajit Chaudhury, Soham Dan, Maxwell Crouse, Asim Munawar, Sadhana Kumaravel, Vinod Muthusamy, Pavan Kapanipathi, Luis A. Lastras

cs.AI

Samenvatting

Er is een groeiende behoefte aan Large Language Models (LLMs) die effectief gebruik kunnen maken van tools en externe Application Programming Interfaces (API's) om taken te plannen en uit te voeren. Hierdoor is er enorme interesse in methoden die voldoende hoeveelheden trainings- en testdata kunnen verkrijgen waarbij calls naar tools/API's betrokken zijn. Twee onderzoekslijnen zijn naar voren gekomen als de belangrijkste strategieën om deze uitdaging aan te pakken. De eerste richt zich op technieken voor synthetische datageneratie, terwijl de tweede zich bezighoudt met het samenstellen van taakgerelateerde datasets die kunnen worden omgezet in API/Tool-gebaseerde taken. In dit artikel richten we ons op de taak van het identificeren, samenstellen en transformeren van bestaande datasets en introduceren we API-BLEND, een grote corpus voor het trainen en systematisch testen van tool-augmented LLMs. De datasets bootsen real-world scenario's na waarbij API-taken betrokken zijn, zoals API/tool-detectie, slot filling en het sequencen van de gedetecteerde API's. We demonstreren de bruikbaarheid van de API-BLEND dataset voor zowel trainings- als benchmarkdoeleinden.

English

There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.