Die Nutzung von offenem Wissen zur Förderung der Aufgabenerfahrung in großen Sprachmodellen.

Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

August 28, 2024

Autoren: Yuncheng Yang, Yulei Qin, Tong Wu, Zihan Xu, Gang Li, Pengcheng Guo, Hang Shao, Yucheng Shi, Ke Li, Xing Sun, Jie Yang, Yun Gu

cs.AI

Zusammenfassung

Die Entwicklung von Expertise für große Sprachmodelle (LLMs) zur Lösung von Aufgaben in spezifischen Bereichen erfordert oft eine spezielle Feinabstimmung mit kalibriertem Verhalten auf die erwarteten stabilen Ausgaben. Um die enormen Kosten zu vermeiden, die durch die manuelle Erstellung von Anweisungsdatensätzen und Schulungsressourcen von bis zu Hunderten von Stunden entstehen, dient die Nutzung von offenem Wissen, einschließlich einer Vielzahl von Low-Rank-Adaptationsmodellen (LoRA) und Anweisungsdatensätzen, als guter Ausgangspunkt. Allerdings konzentrieren sich bestehende Methoden zur Modell- und Datenauswahl auf die Leistungsfähigkeit von allgemeinen Fähigkeiten, während sie die Wissenslücke vernachlässigen, die bei der domänenspezifischen Bereitstellung auftritt. In der vorliegenden Studie schlagen wir vor, diese Lücke zu überbrücken, indem wir einige wenige menschenannotierte Beispiele (d.h. K-Shot) einführen, um die Aufgabenerfahrung von LLMs mit offenem Wissen voranzutreiben. Konkret entwickeln wir eine effiziente und skalierbare Pipeline zur kostengünstigen Erstellung von Aufgabenexperten, bei der K-Shot-Daten zur Auswahl der vielversprechendsten Expertenkandidaten und der aufgabenrelevanten Anweisungen eingreifen. Ein Mixture-of-Expert (MoE)-System wird aufgebaut, um das individuelle, jedoch ergänzende Wissen zwischen mehreren Experten optimal zu nutzen. Wir enthüllen die beiden Schlüssel zum Erfolg eines MoE-Systems, 1) die Einhaltung von K-Shot und 2) das Beharren auf Vielfalt. Im ersten Fall stellen wir sicher, dass Modelle, die tatsächlich Problemlösungsfähigkeiten bei K-Shot besitzen, ausgewählt werden, anstatt blinder Rater. Während der Datenauswahl werden Anweisungen priorisiert, die aufgabenrelevante Kontexte mit K-Shot teilen. Im zweiten Fall betonen wir die Vielfalt der konstituierenden Experten und die Feinabstimmungsanweisungen im gesamten Modell- und Datenauswahlprozess. Umfangreiche experimentelle Ergebnisse bestätigen die Überlegenheit unseres Ansatzes gegenüber bestehenden Methoden zur Nutzung von offenem Wissen in verschiedenen Aufgabenbereichen. Codes und Modelle werden später veröffentlicht.

English

The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.