Aproveitando o Conhecimento Aberto para Avançar na Expertise em Tarefas em Modelos de Linguagem Grandes

Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

August 28, 2024

Autores: Yuncheng Yang, Yulei Qin, Tong Wu, Zihan Xu, Gang Li, Pengcheng Guo, Hang Shao, Yucheng Shi, Ke Li, Xing Sun, Jie Yang, Yun Gu

cs.AI

Resumo

O cultivo de expertise para grandes modelos de linguagem (LLMs) para resolver tarefas de áreas específicas frequentemente requer ajustes de propósito especial com comportamentos calibrados nas saídas estáveis esperadas. Para evitar o alto custo trazido pela preparação manual de conjuntos de dados de instrução e recursos de treinamento de até centenas de horas, a exploração do conhecimento aberto, incluindo uma riqueza de modelos de adaptação de baixa classificação (LoRA) e conjuntos de dados de instrução, serve como um bom ponto de partida. No entanto, os métodos existentes de seleção de modelo e dados focam no desempenho de capacidades de propósito geral, negligenciando a lacuna de conhecimento exposta na implantação específica de domínio. No presente estudo, propomos preencher essa lacuna introduzindo algumas amostras anotadas por humanos (ou seja, K-shot) para avançar a expertise de tarefas de LLMs com conhecimento aberto. Especificamente, desenvolvemos um pipeline eficiente e escalável para produzir especialistas em tarefas de forma econômica, onde dados K-shot intervêm na seleção dos candidatos a especialistas mais promissores e nas instruções relevantes para a tarefa. Um sistema de mistura de especialistas (MoE) é construído para fazer o melhor uso do conhecimento individual, mas complementar, entre vários especialistas. Revelamos as duas chaves para o sucesso de um sistema MoE, 1) a adesão ao K-shot e 2) a insistência na diversidade. Para o primeiro, garantimos que modelos que realmente possuem habilidades de resolução de problemas em K-shot sejam selecionados em vez daqueles que adivinham cegamente. Além disso, durante a seleção de dados, instruções que compartilham contextos relevantes para a tarefa com K-shot são priorizadas. Para o segundo, destacamos a diversidade dos especialistas constituintes e a diversidade das instruções de ajuste fino ao longo do processo de seleção de modelo e dados. Resultados experimentais extensivos confirmam a superioridade de nossa abordagem sobre os métodos existentes na utilização de conhecimento aberto em várias tarefas. Códigos e modelos serão lançados posteriormente.

English

The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.