API-BLEND: Ein umfassendes Korpus für das Training und Benchmarking von API-LLMs

API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

February 23, 2024

Autoren: Kinjal Basu, Ibrahim Abdelaziz, Subhajit Chaudhury, Soham Dan, Maxwell Crouse, Asim Munawar, Sadhana Kumaravel, Vinod Muthusamy, Pavan Kapanipathi, Luis A. Lastras

cs.AI

Zusammenfassung

Es besteht ein zunehmender Bedarf, dass Large Language Models (LLMs) effektiv Werkzeuge und externe Application Programming Interfaces (APIs) nutzen können, um Aufgaben zu planen und abzuschließen. Daher gibt es großes Interesse an Methoden, die ausreichende Mengen an Trainings- und Testdaten beschaffen können, die Aufrufe von Werkzeugen/APIs beinhalten. Zwei Forschungsrichtungen haben sich als vorherrschende Strategien zur Bewältigung dieser Herausforderung herauskristallisiert. Die erste konzentriert sich auf Techniken zur synthetischen Datengenerierung, während die zweite die Kuratierung von aufgabennahen Datensätzen umfasst, die in API-/Werkzeug-basierte Aufgaben transformiert werden können. In diesem Artikel konzentrieren wir uns auf die Aufgabe, bestehende Datensätze zu identifizieren, zu kuratieren und zu transformieren, und führen dabei API-BLEND ein, ein großes Korpus für das Training und die systematische Testung von werkzeuggestützten LLMs. Die Datensätze ahmen reale Szenarien nach, die API-Aufgaben wie API-/Werkzeugerkennung, Slot-Filling und die Sequenzierung der erkannten APIs beinhalten. Wir demonstrieren den Nutzen des API-BLEND-Datensatzes sowohl für Trainings- als auch für Benchmarking-Zwecke.

English

There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.