연합 GPT 구축을 향하여: 연합 명령어 튜닝

초록

'지시 튜닝(instruction-tuned)'된 생성형 대규모 언어 모델(LLMs)은 새로운 작업에 대한 일반화 능력이 뛰어나다는 것을 입증했지만, 이러한 훈련 단계는 대량의 다양하고 고품질의 지시 데이터(예: ChatGPT 및 GPT-4)에 크게 의존합니다. 불행히도, 특히 인간이 작성한 데이터의 경우, 고품질 데이터를 확보하는 것은 비용과 접근성 측면에서 상당한 어려움을 초래할 수 있습니다. 더욱이, 프라이버시와 관련된 우려는 이러한 데이터에 대한 접근을 더욱 제한할 수 있어, 데이터 확보 과정을 복잡하고 미묘한 작업으로 만듭니다. 결과적으로, 이는 튜닝된 모델의 일반성을 저해하고 특정 상황에서의 효과를 제한할 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구는 연합 학습(Federated Learning, FL)을 LLM의 지시 튜닝을 위한 학습 프레임워크로 활용하는 새로운 접근 방식인 연합 지시 튜닝(Federated Instruction Tuning, FedIT)을 소개합니다. 이는 LLM을 위한 FL 기반 지시 튜닝의 첫 번째 탐구로, 텍스트 데이터가 주로 최종 사용자에 의해 생성된다는 점에서 특히 중요합니다. 따라서, 프라이버시를 보호하고 데이터 보안을 보장하면서도 로컬 장치에 저장된 사용자들의 다양한 지시를 효과적으로 활용할 수 있도록 FL 접근법을 설계하고 적용하는 것이 필수적입니다. 본 논문에서는 널리 사용되는 GPT-4 자동 평가를 통해, 제안된 FedIT 프레임워크를 통해 클라이언트 측의 이질적이고 다양한 지시 집합을 활용함으로써, 제한된 로컬 지시만을 사용한 중앙 집중식 훈련에 비해 LLM의 성능을 향상시켰음을 입증합니다. 또한, 본 논문에서는 Shepherd라는 Github 저장소를 개발했습니다. 이 저장소는 다양한 카테고리의 이질적 지시를 사용한 LLM의 연합 파인튜닝을 탐구하기 위한 기초 프레임워크를 제공합니다.

English

While ``instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.

연합 GPT 구축을 향하여: 연합 명령어 튜닝

Towards Building the Federated GPT: Federated Instruction Tuning

초록

Support