Entrenamiento de Expertos en Tareas a través de la Destilación Basada en Recuperación.

Training Task Experts through Retrieval Based Distillation

July 7, 2024

Autores: Jiaxin Ge, Xueying Jia, Vijay Viswanathan, Hongyin Luo, Graham Neubig

cs.AI

Resumen

Una de las formas más confiables de crear modelos desplegables para tareas especializadas es obtener una cantidad adecuada de datos específicos de alta calidad para la tarea. Sin embargo, para tareas especializadas, a menudo no existen conjuntos de datos de este tipo. Los métodos existentes abordan esto creando tales datos a partir de grandes modelos de lenguaje (LLMs) y luego destilando ese conocimiento en modelos más pequeños. Sin embargo, estos métodos están limitados por la calidad de la salida de los LLMs y tienden a generar datos repetitivos o incorrectos. En este trabajo, presentamos Distilación Basada en Recuperación (ReBase), un método que primero recupera datos de fuentes en línea ricas y luego los transforma en datos específicos del dominio. Este método mejora en gran medida la diversidad de datos. Además, ReBase genera razonamiento en Cadena de Pensamiento y destila la capacidad de razonamiento de los LLMs. Probamos nuestro método en 4 conjuntos de pruebas y los resultados muestran que nuestro método mejora significativamente el rendimiento hasta un 7.8% en SQuAD, 1.37% en MNLI y 1.94% en BigBench-Hard.

English

One of the most reliable ways to create deployable models for specialized tasks is to obtain an adequate amount of high-quality task-specific data. However, for specialized tasks, often such datasets do not exist. Existing methods address this by creating such data from large language models (LLMs) and then distilling such knowledge into smaller models. However, these methods are limited by the quality of the LLMs output, and tend to generate repetitive or incorrect data. In this work, we present Retrieval Based Distillation (ReBase), a method that first retrieves data from rich online sources and then transforms them into domain-specific data. This method greatly enhances data diversity. Moreover, ReBase generates Chain-of-Thought reasoning and distills the reasoning capacity of LLMs. We test our method on 4 benchmarks and results show that our method significantly improves performance by up to 7.8% on SQuAD, 1.37% on MNLI, and 1.94% on BigBench-Hard.