API-BLEND: Комплексный корпус для обучения и тестирования языковых моделей, работающих с API

API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

February 23, 2024

Авторы: Kinjal Basu, Ibrahim Abdelaziz, Subhajit Chaudhury, Soham Dan, Maxwell Crouse, Asim Munawar, Sadhana Kumaravel, Vinod Muthusamy, Pavan Kapanipathi, Luis A. Lastras

cs.AI

Аннотация

Растет потребность в том, чтобы крупные языковые модели (LLM) эффективно использовали инструменты и внешние интерфейсы прикладного программирования (API) для планирования и выполнения задач. В связи с этим наблюдается значительный интерес к методам, которые позволяют получить достаточное количество обучающих и тестовых данных, включающих вызовы инструментов и API. Два направления исследований стали основными стратегиями для решения этой задачи. Первое сосредоточено на методах генерации синтетических данных, а второе — на создании наборов данных, смежных с задачами, которые можно преобразовать в задачи, связанные с использованием API и инструментов. В данной статье мы сосредотачиваемся на задаче выявления, создания и преобразования существующих наборов данных и представляем API-BLEND — крупный корпус для обучения и систематического тестирования LLM, усиленных инструментами. Наборы данных имитируют реальные сценарии, связанные с задачами API, такие как обнаружение API/инструментов, заполнение слотов и упорядочение обнаруженных API. Мы демонстрируем полезность набора данных API-BLEND как для обучения, так и для тестирования.

English

There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.