Treinando Especialistas em Tarefas por Meio de Difusão Baseada em Recuperação

Training Task Experts through Retrieval Based Distillation

July 7, 2024

Autores: Jiaxin Ge, Xueying Jia, Vijay Viswanathan, Hongyin Luo, Graham Neubig

cs.AI

Resumo

Uma das maneiras mais confiáveis de criar modelos implantáveis para tarefas especializadas é obter uma quantidade adequada de dados específicos da tarefa de alta qualidade. No entanto, para tarefas especializadas, frequentemente tais conjuntos de dados não existem. Métodos existentes lidam com isso criando tais dados a partir de grandes modelos de linguagem (LLMs) e então destilando esse conhecimento em modelos menores. No entanto, esses métodos são limitados pela qualidade da saída dos LLMs e tendem a gerar dados repetitivos ou incorretos. Neste trabalho, apresentamos a Distilação Baseada em Recuperação (ReBase), um método que primeiro recupera dados de fontes online ricas e então os transforma em dados específicos do domínio. Este método melhora significativamente a diversidade dos dados. Além disso, o ReBase gera raciocínio em Cadeia de Pensamento e destila a capacidade de raciocínio dos LLMs. Testamos nosso método em 4 benchmarks e os resultados mostram que nosso método melhora significativamente o desempenho em até 7,8% no SQuAD, 1,37% no MNLI e 1,94% no BigBench-Hard.

English

One of the most reliable ways to create deployable models for specialized tasks is to obtain an adequate amount of high-quality task-specific data. However, for specialized tasks, often such datasets do not exist. Existing methods address this by creating such data from large language models (LLMs) and then distilling such knowledge into smaller models. However, these methods are limited by the quality of the LLMs output, and tend to generate repetitive or incorrect data. In this work, we present Retrieval Based Distillation (ReBase), a method that first retrieves data from rich online sources and then transforms them into domain-specific data. This method greatly enhances data diversity. Moreover, ReBase generates Chain-of-Thought reasoning and distills the reasoning capacity of LLMs. We test our method on 4 benchmarks and results show that our method significantly improves performance by up to 7.8% on SQuAD, 1.37% on MNLI, and 1.94% on BigBench-Hard.