Vers la construction du GPT fédéré : Réglage d'instructions en mode fédéré

Towards Building the Federated GPT: Federated Instruction Tuning

May 9, 2023

Auteurs: Jianyi Zhang, Saeed Vahidian, Martin Kuo, Chunyuan Li, Ruiyi Zhang, Guoyin Wang, Yiran Chen

cs.AI

Résumé

Bien que les grands modèles de langage génératifs (LLMs) « ajustés par instruction » aient démontré une capacité impressionnante à généraliser à de nouvelles tâches, les phases d'entraînement dépendent fortement de grandes quantités de données d'instruction diversifiées et de haute qualité (comme ChatGPT et GPT-4). Malheureusement, l'acquisition de données de haute qualité, en particulier lorsqu'il s'agit de données rédigées par des humains, peut poser des défis importants en termes de coût et d'accessibilité. De plus, les préoccupations liées à la confidentialité peuvent encore limiter l'accès à ces données, rendant le processus d'obtention complexe et nuancé. Par conséquent, cela entrave la généralité des modèles ajustés et peut restreindre leur efficacité dans certains contextes. Pour résoudre ce problème, notre étude introduit une nouvelle approche appelée Ajustement d'Instruction Fédéré (FedIT), qui exploite l'apprentissage fédéré (FL) comme cadre d'apprentissage pour l'ajustement par instruction des LLMs. Cela marque la première exploration de l'ajustement par instruction basé sur FL pour les LLMs. Ceci est particulièrement important puisque les données textuelles sont principalement générées par les utilisateurs finaux. Il est donc impératif de concevoir et d'adapter des approches FL pour exploiter efficacement ces instructions diverses stockées sur les appareils locaux, tout en préservant la confidentialité et en assurant la sécurité des données. Dans cet article, en utilisant l'auto-évaluation largement répandue de GPT-4, nous démontrons qu'en exploitant les ensembles d'instructions hétérogènes et diversifiés du côté client avec le cadre proposé FedIT, nous avons amélioré les performances des LLMs par rapport à un entraînement centralisé avec seulement un nombre limité d'instructions locales. En outre, dans cet article, nous avons développé un dépôt Github nommé Shepherd. Ce dépôt offre un cadre fondamental pour explorer le réglage fin fédéré des LLMs en utilisant des instructions hétérogènes à travers diverses catégories.

English

While ``instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.