API-BLEND: API 학습 및 벤치마킹을 위한 포괄적인 코퍼스

초록

대규모 언어 모델(LLMs)이 도구와 외부 애플리케이션 프로그래밍 인터페이스(APIs)를 효과적으로 활용하여 작업을 계획하고 완료할 필요성이 점차 증가하고 있다. 이에 따라 도구/API 호출과 관련된 충분한 양의 훈련 및 테스트 데이터를 확보할 수 있는 방법에 대한 관심이 크게 높아지고 있다. 이러한 문제를 해결하기 위한 주요 전략으로 두 가지 연구 방향이 부각되고 있다. 첫 번째는 합성 데이터 생성 기술에 초점을 맞추는 것이며, 두 번째는 API/도구 기반 작업으로 변환할 수 있는 작업 인접 데이터셋을 큐레이팅하는 것이다. 본 논문에서는 기존 데이터셋을 식별, 큐레이팅 및 변환하는 작업에 초점을 맞추고, 이를 통해 도구가 강화된 LLMs의 훈련 및 체계적인 테스트를 위한 대규모 코퍼스인 API-BLEND를 소개한다. 이 데이터셋은 API/도구 탐지, 슬롯 채우기, 탐지된 API의 순서 지정과 같은 API 작업을 포함한 실제 시나리오를 모방한다. 우리는 API-BLEND 데이터셋이 훈련 및 벤치마킹 목적으로 유용함을 입증한다.

English

There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.

API-BLEND: API 학습 및 벤치마킹을 위한 포괄적인 코퍼스

API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

초록

Support