Aprovechando el Conocimiento Abierto para Avanzar en la Expertise en Tareas en Modelos de Lenguaje Grandes

Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

August 28, 2024

Autores: Yuncheng Yang, Yulei Qin, Tong Wu, Zihan Xu, Gang Li, Pengcheng Guo, Hang Shao, Yucheng Shi, Ke Li, Xing Sun, Jie Yang, Yun Gu

cs.AI

Resumen

El cultivo de la experiencia para modelos de lenguaje grandes (LLMs) con el fin de resolver tareas de áreas específicas a menudo requiere ajustes de propósito especial con comportamientos calibrados en las salidas estables esperadas. Para evitar el enorme costo derivado de la preparación manual de conjuntos de datos de instrucción y recursos de entrenamiento de hasta cientos de horas, la explotación del conocimiento abierto, incluyendo una gran cantidad de modelos de adaptación de bajo rango (LoRA) y conjuntos de datos de instrucción, sirve como un buen punto de partida. Sin embargo, los métodos existentes de selección de modelos y datos se centran en el rendimiento de capacidades de propósito general, mientras descuidan la brecha de conocimiento expuesta en la implementación específica de dominio. En el presente estudio, proponemos cerrar esa brecha introduciendo unos pocos ejemplos anotados por humanos (es decir, K-shot) para avanzar en la experiencia en tareas de LLMs con conocimiento abierto. Específicamente, desarrollamos un proceso eficiente y escalable para producir expertos en tareas de manera rentable, donde los datos K-shot intervienen en la selección de los candidatos expertos más prometedores y las instrucciones relevantes para la tarea. Se construye un sistema de mezcla de expertos (MoE) para aprovechar al máximo el conocimiento individual pero complementario entre múltiples expertos. Revelamos las dos claves del éxito de un sistema MoE, 1) el cumplimiento de K-shot, y 2) la insistencia en la diversidad. Para lo primero, nos aseguramos de que se seleccionen modelos que realmente posean habilidades para resolver problemas en K-shot en lugar de aquellos que adivinan a ciegas. Además, durante la selección de datos, se priorizan las instrucciones que comparten contextos relevantes para la tarea con K-shot. Para lo segundo, destacamos la diversidad de expertos constituyentes y la de las instrucciones de ajuste fino a lo largo del proceso de selección de modelos y datos. Los extensos resultados experimentales confirman la superioridad de nuestro enfoque sobre los métodos existentes en la utilización de conocimiento abierto en diversas tareas. Los códigos y modelos se publicarán más adelante.

English

The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.