API-BLEND: Un Corpus Integral para el Entrenamiento y Evaluación de Modelos de Lenguaje de API

API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

February 23, 2024

Autores: Kinjal Basu, Ibrahim Abdelaziz, Subhajit Chaudhury, Soham Dan, Maxwell Crouse, Asim Munawar, Sadhana Kumaravel, Vinod Muthusamy, Pavan Kapanipathi, Luis A. Lastras

cs.AI

Resumen

Existe una creciente necesidad de que los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) utilicen de manera efectiva herramientas e Interfaces de Programación de Aplicaciones (APIs) externas para planificar y completar tareas. Como resultado, hay un interés considerable en métodos que puedan adquirir cantidades suficientes de datos de entrenamiento y prueba que involucren llamadas a herramientas/APIs. Dos líneas de investigación han surgido como las estrategias predominantes para abordar este desafío. La primera se ha centrado en técnicas de generación de datos sintéticos, mientras que la segunda ha implicado la curación de conjuntos de datos relacionados con tareas que pueden transformarse en tareas basadas en APIs/herramientas. En este artículo, nos enfocamos en la tarea de identificar, curar y transformar conjuntos de datos existentes y, a su vez, presentamos API-BLEND, un gran corpus para el entrenamiento y la prueba sistemática de LLMs aumentados con herramientas. Los conjuntos de datos imitan escenarios del mundo real que involucran tareas de APIs, como la detección de APIs/herramientas, el llenado de espacios (slot filling) y la secuenciación de las APIs detectadas. Demostramos la utilidad del conjunto de datos API-BLEND tanto para fines de entrenamiento como de evaluación comparativa.

English

There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.