Benutten van Open Kennis voor het Bevorderen van Taakdeskundigheid in Grote Taalmodellen

Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

August 28, 2024

Auteurs: Yuncheng Yang, Yulei Qin, Tong Wu, Zihan Xu, Gang Li, Pengcheng Guo, Hang Shao, Yucheng Shi, Ke Li, Xing Sun, Jie Yang, Yun Gu

cs.AI

Samenvatting

Het ontwikkelen van expertise voor grote taalmmodellen (LLMs) om taken in specifieke domeinen op te lossen, vereist vaak specifieke afstemming met gekalibreerd gedrag voor verwachte stabiele uitkomsten. Om de hoge kosten te vermijden die gepaard gaan met de handmatige voorbereiding van instructiedatasets en trainingsbronnen van honderden uren, vormt het gebruik van open kennis, waaronder een overvloed aan low rank adaptation (LoRA) modellen en instructiedatasets, een goed uitgangspunt. Bestaande methoden voor model- en dataselectie richten zich echter op de prestaties van algemene capaciteiten, terwijl de kenniskloof die zichtbaar wordt bij domeinspecifieke implementatie wordt verwaarloosd. In deze studie stellen we voor om deze kloof te overbruggen door enkele door mensen geannoteerde voorbeelden (d.w.z. K-shot) te introduceren om de taakexpertise van LLMs met open kennis te bevorderen. Specifiek ontwikkelen we een efficiënte en schaalbare pijplijn om op kosteneffectieve wijze taakexperts te produceren, waarbij K-shot data ingrijpen bij het selecteren van de meest veelbelovende expertkandidaten en de taakrelevante instructies. Een mixture-of-expert (MoE) systeem wordt gebouwd om optimaal gebruik te maken van individuele, maar complementaire kennis tussen meerdere experts. We onthullen de twee sleutels tot het succes van een MoE-systeem: 1) het naleven van K-shot, en 2) het vasthouden aan diversiteit. Voor het eerste zorgen we ervoor dat modellen die daadwerkelijk probleemoplossende vaardigheden bezitten op K-shot worden geselecteerd, in plaats van modellen die slechts gissen. Daarnaast worden tijdens de dataselectie instructies die taakrelevante contexten delen met K-shot geprioriteerd. Voor het laatste benadrukken we de diversiteit van de samenstellende experts en die van de fine-tuning instructies gedurende het hele model- en dataselectieproces. Uitgebreide experimentele resultaten bevestigen de superioriteit van onze aanpak ten opzichte van bestaande methoden bij het gebruik van open kennis over verschillende taken. Codes en modellen zullen later worden vrijgegeven.

English

The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.