Addestramento di Esperti per Compiti Specifici tramite Distillazione Basata su Recupero

Training Task Experts through Retrieval Based Distillation

July 7, 2024

Autori: Jiaxin Ge, Xueying Jia, Vijay Viswanathan, Hongyin Luo, Graham Neubig

cs.AI

Abstract

Uno dei metodi più affidabili per creare modelli utilizzabili per compiti specializzati è ottenere una quantità adeguata di dati di alta qualità specifici per il task. Tuttavia, per compiti specializzati, spesso tali dataset non esistono. I metodi esistenti affrontano questo problema generando tali dati da modelli linguistici di grandi dimensioni (LLM) e poi distillando tale conoscenza in modelli più piccoli. Tuttavia, questi metodi sono limitati dalla qualità dell'output degli LLM e tendono a generare dati ripetitivi o errati. In questo lavoro, presentiamo la Distillazione Basata su Recupero (ReBase), un metodo che prima recupera dati da fonti online ricche e poi li trasforma in dati specifici per il dominio. Questo metodo migliora notevolmente la diversità dei dati. Inoltre, ReBase genera ragionamenti a catena di pensiero (Chain-of-Thought) e distilla la capacità di ragionamento degli LLM. Testiamo il nostro metodo su 4 benchmark e i risultati mostrano che il nostro metodo migliora significativamente le prestazioni fino al 7,8% su SQuAD, 1,37% su MNLI e 1,94% su BigBench-Hard.

English

One of the most reliable ways to create deployable models for specialized tasks is to obtain an adequate amount of high-quality task-specific data. However, for specialized tasks, often such datasets do not exist. Existing methods address this by creating such data from large language models (LLMs) and then distilling such knowledge into smaller models. However, these methods are limited by the quality of the LLMs output, and tend to generate repetitive or incorrect data. In this work, we present Retrieval Based Distillation (ReBase), a method that first retrieves data from rich online sources and then transforms them into domain-specific data. This method greatly enhances data diversity. Moreover, ReBase generates Chain-of-Thought reasoning and distills the reasoning capacity of LLMs. We test our method on 4 benchmarks and results show that our method significantly improves performance by up to 7.8% on SQuAD, 1.37% on MNLI, and 1.94% on BigBench-Hard.