검색 기반 증류를 통한 작업 전문가 훈련

Training Task Experts through Retrieval Based Distillation

July 7, 2024

저자: Jiaxin Ge, Xueying Jia, Vijay Viswanathan, Hongyin Luo, Graham Neubig

cs.AI

초록

특수한 작업을 위해 배포 가능한 모델을 만드는 가장 신뢰할 수 있는 방법 중 하나는 충분한 양의 고품질 작업별 데이터를 확보하는 것입니다. 그러나 특수한 작업의 경우, 종종 그러한 데이터셋이 존재하지 않습니다. 기존 방법들은 대형 언어 모델(LLM)로부터 이러한 데이터를 생성한 후, 이 지식을 더 작은 모델로 증류하는 방식으로 이 문제를 해결합니다. 그러나 이러한 방법들은 LLM 출력의 품질에 제한을 받으며, 반복적이거나 잘못된 데이터를 생성하는 경향이 있습니다. 본 연구에서는 Retrieval Based Distillation(ReBase)이라는 방법을 제안합니다. 이 방법은 먼저 풍부한 온라인 소스에서 데이터를 검색한 후, 이를 도메인별 데이터로 변환합니다. 이 방법은 데이터 다양성을 크게 향상시킵니다. 또한, ReBase는 Chain-of-Thought 추론을 생성하고 LLM의 추론 능력을 증류합니다. 우리는 이 방법을 4개의 벤치마크에서 테스트했으며, 그 결과 SQuAD에서 최대 7.8%, MNLI에서 1.37%, BigBench-Hard에서 1.94%의 성능 향상을 보였습니다.

English

One of the most reliable ways to create deployable models for specialized tasks is to obtain an adequate amount of high-quality task-specific data. However, for specialized tasks, often such datasets do not exist. Existing methods address this by creating such data from large language models (LLMs) and then distilling such knowledge into smaller models. However, these methods are limited by the quality of the LLMs output, and tend to generate repetitive or incorrect data. In this work, we present Retrieval Based Distillation (ReBase), a method that first retrieves data from rich online sources and then transforms them into domain-specific data. This method greatly enhances data diversity. Moreover, ReBase generates Chain-of-Thought reasoning and distills the reasoning capacity of LLMs. We test our method on 4 benchmarks and results show that our method significantly improves performance by up to 7.8% on SQuAD, 1.37% on MNLI, and 1.94% on BigBench-Hard.