連合GPTの構築に向けて：連合命令チューニング

要旨

「命令チューニング」された生成型大規模言語モデル（LLM）は、新しいタスクへの汎化能力において驚くべき性能を発揮していますが、その訓練段階では多様で高品質な命令データ（ChatGPTやGPT-4など）が大量に必要とされます。残念ながら、特に人間が作成した高品質なデータを取得することは、コストとアクセシビリティの両面で大きな課題を抱えています。さらに、プライバシーに関する懸念が、そのようなデータへのアクセスをさらに制限し、取得プロセスを複雑で微妙なものにしています。その結果、チューニングされたモデルの汎用性が妨げられ、特定の文脈での有効性が制限される可能性があります。この問題に対処するため、本研究では、連合学習（FL）をLLMの命令チューニングの学習フレームワークとして活用する新しいアプローチである「連合命令チューニング（FedIT）」を提案します。これは、LLMに対するFLベースの命令チューニングの初めての探求となります。テキストデータが主にエンドユーザーによって生成されることを考えると、プライバシーを保護しつつ、ローカルデバイスに保存された多様な命令を効果的に活用するために、FLアプローチを設計・適応させることが極めて重要です。本論文では、広く使用されているGPT-4の自動評価を実施し、提案されたFedITフレームワークを用いてクライアント側の異質で多様な命令セットを活用することで、限られたローカル命令のみを用いた集中型訓練と比較してLLMの性能が向上することを示します。さらに、本論文では、Shepherdという名前のGitHubリポジトリを開発しました。このリポジトリは、多様なカテゴリにわたる異質な命令を用いたLLMの連合ファインチューニングを探求するための基礎的なフレームワークを提供します。

English

While ``instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.

連合GPTの構築に向けて：連合命令チューニング

Towards Building the Federated GPT: Federated Instruction Tuning

要旨

Support