大規模言語モデルにおけるタスク専門知識の向上のためのオープンナレッジの活用

Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

August 28, 2024

著者: Yuncheng Yang, Yulei Qin, Tong Wu, Zihan Xu, Gang Li, Pengcheng Guo, Hang Shao, Yucheng Shi, Ke Li, Xing Sun, Jie Yang, Yun Gu

cs.AI

要旨

大規模言語モデル（LLM）の専門知識を育成して特定領域のタスクを解決するためには、予想される安定した出力に合わせた特別なチューニングが必要とされることがしばしばあります。数百時間に及ぶ手作業による指示データセットやトレーニングリソースの準備によってもたらされる膨大なコストを回避するためには、低ランク適応（LoRA）モデルや指示データセットの豊富なオープン知識を活用することが良い出発点となります。しかしながら、既存のモデルやデータ選択手法は、一般的な能力のパフォーマンスに焦点を当てており、ドメイン固有の展開において露呈される知識のギャップを無視しています。本研究では、オープン知識を活用してLLMのタスク専門知識を進化させるために、わずかな人手による注釈付きサンプル（K-shot）を導入することで、そのようなギャップを埋めることを提案しています。具体的には、K-shotデータが最も有望な専門家候補とタスクに関連する指示の選択に介入する効率的かつスケーラブルなパイプラインを開発します。個々の専門家間での個別かつ補完的な知識の最大限の活用を目的とした混合専門家（MoE）システムを構築します。MoEシステムの成功の鍵は、1）K-shotの遵守、および2）多様性の堅持です。前者に関しては、K-shotで問題解決能力を真に持つモデルが選択されるようにし、単なる当てずっぽうのモデルは選択しないようにします。また、データ選択時には、K-shotとタスクに関連する文脈を共有する指示が優先されます。後者に関しては、構成専門家およびモデルとデータ選択プロセス全体を通じた微調整指示の多様性を強調します。幅広い実験結果が、当社の手法がさまざまなタスクにわたるオープン知識の利用において既存の手法に対して優位性を確認しています。コードとモデルは後日公開されます。

English

The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.