Обучение экспертов по задачам с использованием дистилляции на основе извлечения.

Training Task Experts through Retrieval Based Distillation

July 7, 2024

Авторы: Jiaxin Ge, Xueying Jia, Vijay Viswanathan, Hongyin Luo, Graham Neubig

cs.AI

Аннотация

Один из наиболее надежных способов создания моделей, готовых к развертыванию для специализированных задач, заключается в получении достаточного количества высококачественных данных, специфичных для задачи. Однако для специализированных задач такие наборы данных часто отсутствуют. Существующие методы решают эту проблему, создавая такие данные на основе больших языковых моделей (LLM) и затем конденсируя этот опыт в более компактные модели. Однако эти методы ограничены качеством вывода LLM и часто порождают повторяющиеся или неверные данные. В данной работе мы представляем метод Retrieval Based Distillation (ReBase), который сначала извлекает данные из богатых онлайн-источников, а затем преобразует их в данные, специфичные для области. Этот метод значительно повышает разнообразие данных. Более того, ReBase генерирует цепочку логических рассуждений и конденсирует способность к рассуждениям LLM. Мы тестируем наш метод на 4 стандартных наборах данных, и результаты показывают, что наш метод значительно улучшает производительность на 7.8% на SQuAD, 1.37% на MNLI и 1.94% на BigBench-Hard.

English

One of the most reliable ways to create deployable models for specialized tasks is to obtain an adequate amount of high-quality task-specific data. However, for specialized tasks, often such datasets do not exist. Existing methods address this by creating such data from large language models (LLMs) and then distilling such knowledge into smaller models. However, these methods are limited by the quality of the LLMs output, and tend to generate repetitive or incorrect data. In this work, we present Retrieval Based Distillation (ReBase), a method that first retrieves data from rich online sources and then transforms them into domain-specific data. This method greatly enhances data diversity. Moreover, ReBase generates Chain-of-Thought reasoning and distills the reasoning capacity of LLMs. We test our method on 4 benchmarks and results show that our method significantly improves performance by up to 7.8% on SQuAD, 1.37% on MNLI, and 1.94% on BigBench-Hard.