Experts voor Trainings Taken Opleiden via Retrieval-gebaseerde Distillatie

Training Task Experts through Retrieval Based Distillation

July 7, 2024

Auteurs: Jiaxin Ge, Xueying Jia, Vijay Viswanathan, Hongyin Luo, Graham Neubig

cs.AI

Samenvatting

Een van de meest betrouwbare manieren om inzetbare modellen te creëren voor gespecialiseerde taken is het verkrijgen van een voldoende hoeveelheid hoogwaardige, taakspecifieke data. Voor gespecialiseerde taken bestaan dergelijke datasets echter vaak niet. Bestaande methoden pakken dit aan door dergelijke data te genereren met behulp van grote taalmodellen (LLMs) en deze kennis vervolgens te destilleren in kleinere modellen. Deze methoden worden echter beperkt door de kwaliteit van de output van de LLMs en hebben de neiging repetitieve of incorrecte data te genereren. In dit werk presenteren we Retrieval Based Distillation (ReBase), een methode die eerst data ophaalt uit rijke online bronnen en deze vervolgens omzet in domeinspecifieke data. Deze methode vergroot de diversiteit van de data aanzienlijk. Bovendien genereert ReBase Chain-of-Thought redeneringen en destilleert het de redeneercapaciteit van LLMs. We testen onze methode op 4 benchmarks en de resultaten laten zien dat onze methode de prestaties aanzienlijk verbetert met tot wel 7,8% op SQuAD, 1,37% op MNLI en 1,94% op BigBench-Hard.

English

One of the most reliable ways to create deployable models for specialized tasks is to obtain an adequate amount of high-quality task-specific data. However, for specialized tasks, often such datasets do not exist. Existing methods address this by creating such data from large language models (LLMs) and then distilling such knowledge into smaller models. However, these methods are limited by the quality of the LLMs output, and tend to generate repetitive or incorrect data. In this work, we present Retrieval Based Distillation (ReBase), a method that first retrieves data from rich online sources and then transforms them into domain-specific data. This method greatly enhances data diversity. Moreover, ReBase generates Chain-of-Thought reasoning and distills the reasoning capacity of LLMs. We test our method on 4 benchmarks and results show that our method significantly improves performance by up to 7.8% on SQuAD, 1.37% on MNLI, and 1.94% on BigBench-Hard.