Sfruttare la Conoscenza Aperta per Avanzare l'Espertise nelle Grandi Modelli Linguistici.

Abstract

La coltivazione dell'esperienza per i grandi modelli linguistici (LLM) al fine di risolvere compiti di specifiche aree richiede spesso un'ottimizzazione specializzata con comportamenti calibrati sugli output stabili attesi. Per evitare i costi elevati derivanti dalla preparazione manuale di set di istruzioni e risorse di addestramento fino a centinaia di ore, lo sfruttamento della conoscenza aperta, comprensiva di una vasta gamma di modelli di adattamento a basso rango (LoRA) e set di istruzioni, rappresenta un buon punto di partenza. Tuttavia, i metodi esistenti sulla selezione di modelli e dati si concentrano sulle prestazioni delle capacità generiche trascurando il divario di conoscenza esposto nell'implementazione specifica del dominio. Nel presente studio, proponiamo di colmare tale divario introducendo pochi campioni annotati dall'uomo (cioè, K-shot) per far progredire l'esperienza dei modelli linguistici con conoscenza aperta. In particolare, sviluppiamo un efficiente e scalabile processo per produrre in modo economicamente vantaggioso esperti di compiti in cui i dati K-shot intervengono nella selezione dei candidati esperti più promettenti e delle istruzioni rilevanti per il compito. Viene costruito un sistema a miscela di esperti (MoE) per sfruttare al meglio le conoscenze individuali ma complementari tra diversi esperti. Sveliamo i due elementi chiave per il successo di un sistema MoE, 1) il rispetto di K-shot e 2) l'insistenza sulla diversità. Per il primo punto, ci assicuriamo che siano selezionati modelli che possiedono veramente capacità di risoluzione dei problemi su K-shot anziché indovinare alla cieca. Inoltre, durante la selezione dei dati, le istruzioni che condividono contesti rilevanti per il compito con K-shot sono prioritizzate. Per il secondo punto, sottolineiamo la diversità degli esperti costituenti e quella delle istruzioni di ottimizzazione durante il processo di selezione di modelli e dati. Estesi risultati sperimentali confermano la superiorità del nostro approccio rispetto ai metodi esistenti sull'utilizzo della conoscenza aperta in vari compiti. Codici e modelli saranno rilasciati successivamente.

English

The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.

Sfruttare la Conoscenza Aperta per Avanzare l'Espertise nelle Grandi Modelli Linguistici.

Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

Abstract

Support