検索ベースの蒸留によるタスクエキスパートのトレーニング

Training Task Experts through Retrieval Based Distillation

July 7, 2024

著者: Jiaxin Ge, Xueying Jia, Vijay Viswanathan, Hongyin Luo, Graham Neubig

cs.AI

要旨

専門タスク向けにデプロイ可能なモデルを作成する最も信頼性の高い方法の一つは、十分な量の高品質なタスク固有のデータを取得することです。しかし、専門タスクの場合、そのようなデータセットが存在しないことがよくあります。既存の手法では、大規模言語モデル（LLM）からそのようなデータを作成し、その知識をより小さなモデルに蒸留することでこの問題に対処しています。しかし、これらの手法はLLMの出力品質に制限され、繰り返しの多いまたは誤ったデータを生成しがちです。本研究では、Retrieval Based Distillation（ReBase）という手法を提案します。この手法では、まず豊富なオンラインソースからデータを検索し、それをドメイン固有のデータに変換します。この方法により、データの多様性が大幅に向上します。さらに、ReBaseはChain-of-Thought推論を生成し、LLMの推論能力を蒸留します。4つのベンチマークでこの手法をテストした結果、SQuADでは最大7.8%、MNLIでは1.37%、BigBench-Hardでは1.94%の性能向上が確認されました。

English

One of the most reliable ways to create deployable models for specialized tasks is to obtain an adequate amount of high-quality task-specific data. However, for specialized tasks, often such datasets do not exist. Existing methods address this by creating such data from large language models (LLMs) and then distilling such knowledge into smaller models. However, these methods are limited by the quality of the LLMs output, and tend to generate repetitive or incorrect data. In this work, we present Retrieval Based Distillation (ReBase), a method that first retrieves data from rich online sources and then transforms them into domain-specific data. This method greatly enhances data diversity. Moreover, ReBase generates Chain-of-Thought reasoning and distills the reasoning capacity of LLMs. We test our method on 4 benchmarks and results show that our method significantly improves performance by up to 7.8% on SQuAD, 1.37% on MNLI, and 1.94% on BigBench-Hard.