API-BLEND: API向けLLMのトレーニングとベンチマークのための包括的コーパス

要旨

大規模言語モデル（LLMs）がツールや外部のアプリケーションプログラミングインターフェース（APIs）を効果的に活用し、タスクを計画・完了する必要性が高まっています。そのため、ツールやAPIの呼び出しを含む十分な量の訓練データとテストデータを取得する方法に対する関心が非常に高まっています。この課題に対処するための主要な戦略として、2つの研究アプローチが浮上しています。1つ目は合成データ生成技術に焦点を当てたもので、2つ目はAPIやツールベースのタスクに変換可能なタスク関連データセットをキュレーションするものです。本論文では、既存のデータセットを特定し、キュレーションし、変換するタスクに焦点を当て、ツール拡張型LLMsの訓練と体系的なテストのための大規模なコーパスであるAPI-BLENDを紹介します。このデータセットは、API/ツール検出、スロットフィリング、検出されたAPIのシーケンス化など、APIタスクを含む現実世界のシナリオを模倣しています。API-BLENDデータセットが、訓練とベンチマークの両方の目的で有用であることを実証します。

English

There is a growing need for Large Language Models (LLMs) to effectively use tools and external Application Programming Interfaces (APIs) to plan and complete tasks. As such, there is tremendous interest in methods that can acquire sufficient quantities of train and test data that involve calls to tools / APIs. Two lines of research have emerged as the predominant strategies for addressing this challenge. The first has focused on synthetic data generation techniques, while the second has involved curating task-adjacent datasets which can be transformed into API / Tool-based tasks. In this paper, we focus on the task of identifying, curating, and transforming existing datasets and, in turn, introduce API-BLEND, a large corpora for training and systematic testing of tool-augmented LLMs. The datasets mimic real-world scenarios involving API-tasks such as API / tool detection, slot filling, and sequencing of the detected APIs. We demonstrate the utility of the API-BLEND dataset for both training and benchmarking purposes.

API-BLEND: API向けLLMのトレーニングとベンチマークのための包括的コーパス

API-BLEND: A Comprehensive Corpora for Training and Benchmarking API LLMs

要旨

Support