Использование открытых знаний для повышения экспертизы в задачах у больших языковых моделей.

Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

August 28, 2024

Авторы: Yuncheng Yang, Yulei Qin, Tong Wu, Zihan Xu, Gang Li, Pengcheng Guo, Hang Shao, Yucheng Shi, Ke Li, Xing Sun, Jie Yang, Yun Gu

cs.AI

Аннотация

Для развития экспертизы крупных языковых моделей (LLM) для решения задач конкретных областей часто требуется настройка специального назначения с калиброванным поведением на ожидаемых стабильных выходах. Для избежания огромных затрат, связанных с ручной подготовкой наборов данных и обучающих ресурсов на сотни часов, использование открытых знаний, включая множество моделей адаптации низкого ранга (LoRA) и наборов данных с инструкциями, служит хорошей отправной точкой. Однако существующие методы выбора моделей и данных сосредотачиваются на производительности общих возможностей, игнорируя разрыв в знаниях, выявленный при доменно-специфическом развертывании. В настоящем исследовании мы предлагаем преодолеть такой разрыв, представив несколько человеко-аннотированных образцов (т. е. K-shot) для развития экспертизы задач LLM с использованием открытых знаний. Конкретно, мы разрабатываем эффективный и масштабируемый конвейер для экономичного производства экспертов по задачам, где данные K-shot вмешиваются в выбор наиболее многообещающих кандидатов-экспертов и задачно-связанных инструкций. Система смешанных экспертов (MoE) создана для наилучшего использования индивидуальных, но взаимодополняющих знаний между несколькими экспертами. Мы раскрываем два ключа к успеху системы MoE: 1) соблюдение K-shot и 2) настойчивость на разнообразие. Для первого мы гарантируем, что модели, действительно обладающие способностями к решению проблем на K-shot, выбираются, а не те, что делают слепые догадки. Кроме того, во время выбора данных приоритет отдается инструкциям, которые имеют общие контексты с K-shot. Для второго мы выделяем разнообразие составляющих экспертов и инструкций по тонкой настройке на протяжении процесса выбора моделей и данных. Обширные экспериментальные результаты подтверждают превосходство нашего подхода над существующими методами использования открытых знаний в различных задачах. Коды и модели будут выпущены позже.

English

The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.