대규모 언어 모델에서 작업 전문성 향상을 위해 오픈 지식을 활용하기

Leveraging Open Knowledge for Advancing Task Expertise in Large Language Models

August 28, 2024

저자: Yuncheng Yang, Yulei Qin, Tong Wu, Zihan Xu, Gang Li, Pengcheng Guo, Hang Shao, Yucheng Shi, Ke Li, Xing Sun, Jie Yang, Yun Gu

cs.AI

초록

대규모 언어 모델 (LLM)의 전문 지식을 발전시키는 것은 특정 영역의 작업을 해결하기 위해 예상되는 안정적인 출력에 대해 보정된 행동을 필요로 할 때 종종 특수 목적 튜닝이 필요합니다. 수백 시간에 이르는 수동 지침 데이터셋 및 교육 자원의 준비로 인한 막대한 비용을 피하기 위해 낮은 순위 적응 (LoRA) 모델과 지침 데이터셋의 다양성을 활용하는 것이 좋은 시작점으로 작용합니다. 그러나 기존의 모델 및 데이터 선택 방법은 일반적인 능력의 성능에 초점을 맞추고 도메인별 배치에서 노출된 지식 간격을 무시합니다. 본 연구에서는 오픈 지식을 활용하여 LLM의 작업 전문성을 발전시키기 위해 소수의 인간 주석이 달린 샘플 (즉, K-샷)을 도입하는 것으로 이러한 간극을 줄이는 것을 제안합니다. 구체적으로, 우리는 효율적이고 확장 가능한 파이프라인을 개발하여 K-샷 데이터가 가장 유망한 전문가 후보와 작업 관련 지침을 선택하는 데 개입하도록 하여 작업 전문가를 비용 효율적으로 생산합니다. 여러 전문가 간의 개별적이면서 보완적인 지식을 최대한 활용하기 위해 전문가 혼합 (MoE) 시스템이 구축되었습니다. MoE 시스템의 성공의 두 가지 핵심 요소를 밝히며, 1) K-샷 준수, 2) 다양성에 대한 강조를 하였습니다. 전자의 경우, K-샷에서 문제 해결 능력을 실제로 보유한 모델이 무작위 추측자보다 선택되도록 보장합니다. 또한 데이터 선택 중에 K-샷과 작업 관련 맥락을 공유하는 지침이 우선 순위를 가집니다. 후자의 경우, 다양성을 구성하는 전문가들과 모델 및 데이터 선택 과정 전반에 걸쳐 세밀 조정 지침의 다양성을 강조합니다. 광범위한 실험 결과가 다양한 작업에서 오픈 지식 활용에 대한 우리의 접근 방식이 기존 방법보다 우월함을 확인합니다. 코드와 모델은 나중에 공개될 예정입니다.

English

The cultivation of expertise for large language models (LLMs) to solve tasks of specific areas often requires special-purpose tuning with calibrated behaviors on the expected stable outputs. To avoid huge cost brought by manual preparation of instruction datasets and training resources up to hundreds of hours, the exploitation of open knowledge including a wealth of low rank adaptation (LoRA) models and instruction datasets serves as a good starting point. However, existing methods on model and data selection focus on the performance of general-purpose capabilities while neglecting the knowledge gap exposed in domain-specific deployment. In the present study, we propose to bridge such gap by introducing few human-annotated samples (i.e., K-shot) for advancing task expertise of LLMs with open knowledge. Specifically, we develop an efficient and scalable pipeline to cost-efficiently produce task experts where K-shot data intervene in selecting the most promising expert candidates and the task-relevant instructions. A mixture-of-expert (MoE) system is built to make the best use of individual-yet-complementary knowledge between multiple experts. We unveil the two keys to the success of a MoE system, 1) the abidance by K-shot, and 2) the insistence on diversity. For the former, we ensure that models that truly possess problem-solving abilities on K-shot are selected rather than those blind guessers. Besides, during data selection, instructions that share task-relevant contexts with K-shot are prioritized. For the latter, we highlight the diversity of constituting experts and that of the fine-tuning instructions throughout the model and data selection process. Extensive experimental results confirm the superiority of our approach over existing methods on utilization of open knowledge across various tasks. Codes and models will be released later.