API-BLEND: Um Corpus Abrangente para Treinamento e Avaliação de LLMs de API

API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

February 23, 2024

Autores: Kinjal Basu, Ibrahim Abdelaziz, Subhajit Chaudhury, Soham Dan, Maxwell Crouse, Asim Munawar, Sadhana Kumaravel, Vinod Muthusamy, Pavan Kapanipathi, Luis A. Lastras

cs.AI

Resumo

Há uma crescente necessidade de que os Modelos de Linguagem de Grande Escala (LLMs) utilizem ferramentas e Interfaces de Programação de Aplicativos (APIs) externas de forma eficaz para planejar e concluir tarefas. Diante disso, há um interesse significativo em métodos que possam adquirir quantidades suficientes de dados de treinamento e teste que envolvam chamadas a ferramentas/APIs. Duas linhas de pesquisa emergiram como as estratégias predominantes para enfrentar esse desafio. A primeira concentrou-se em técnicas de geração de dados sintéticos, enquanto a segunda envolveu a curadoria de conjuntos de dados adjacentes a tarefas, que podem ser transformados em tarefas baseadas em APIs/ferramentas. Neste artigo, focamos na tarefa de identificar, curar e transformar conjuntos de dados existentes e, por sua vez, apresentamos o API-BLEND, um grande corpus para treinamento e teste sistemático de LLMs aumentados por ferramentas. Os conjuntos de dados simulam cenários do mundo real envolvendo tarefas de APIs, como detecção de APIs/ferramentas, preenchimento de slots e sequenciamento das APIs detectadas. Demonstramos a utilidade do conjunto de dados API-BLEND tanto para treinamento quanto para benchmarking.

English

There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.