Schulung von Aufgabenspezialisten durch distillationsbasiertes Retrieval-Training.

Training Task Experts through Retrieval Based Distillation

July 7, 2024

Autoren: Jiaxin Ge, Xueying Jia, Vijay Viswanathan, Hongyin Luo, Graham Neubig

cs.AI

Zusammenfassung

Eine der zuverlässigsten Methoden zur Erstellung einsatzfähiger Modelle für spezialisierte Aufgaben besteht darin, eine ausreichende Menge an hochwertigen, aufgabenbezogenen Daten zu erhalten. Allerdings existieren für spezialisierte Aufgaben oft keine solchen Datensätze. Bestehende Methoden adressieren dieses Problem, indem sie solche Daten aus großen Sprachmodellen (LLMs) erstellen und dieses Wissen dann in kleinere Modelle destillieren. Diese Methoden sind jedoch durch die Qualität der Ausgabe der LLMs begrenzt und neigen dazu, repetitive oder inkorrekte Daten zu generieren. In dieser Arbeit stellen wir Retrieval Based Distillation (ReBase) vor, eine Methode, die zunächst Daten aus reichhaltigen Online-Quellen abruft und diese dann in domänenspezifische Daten umwandelt. Diese Methode verbessert die Datenvielfalt erheblich. Darüber hinaus generiert ReBase Chain-of-Thought-Argumentation und destilliert die Argumentationsfähigkeit der LLMs. Wir testen unsere Methode an 4 Benchmarks und die Ergebnisse zeigen, dass unsere Methode die Leistung signifikant um bis zu 7,8% bei SQuAD, 1,37% bei MNLI und 1,94% bei BigBench-Hard verbessert.

English

One of the most reliable ways to create deployable models for specialized tasks is to obtain an adequate amount of high-quality task-specific data. However, for specialized tasks, often such datasets do not exist. Existing methods address this by creating such data from large language models (LLMs) and then distilling such knowledge into smaller models. However, these methods are limited by the quality of the LLMs output, and tend to generate repetitive or incorrect data. In this work, we present Retrieval Based Distillation (ReBase), a method that first retrieves data from rich online sources and then transforms them into domain-specific data. This method greatly enhances data diversity. Moreover, ReBase generates Chain-of-Thought reasoning and distills the reasoning capacity of LLMs. We test our method on 4 benchmarks and results show that our method significantly improves performance by up to 7.8% on SQuAD, 1.37% on MNLI, and 1.94% on BigBench-Hard.