Auf dem Weg zum Aufbau des Federated GPT: Federiertes Instruction Tuning

Towards Building the Federated GPT: Federated Instruction Tuning

May 9, 2023

Autoren: Jianyi Zhang, Saeed Vahidian, Martin Kuo, Chunyuan Li, Ruiyi Zhang, Guoyin Wang, Yiran Chen

cs.AI

Zusammenfassung

Während „instruction-tuned“ generative Large Language Models (LLMs) eine beeindruckende Fähigkeit zur Generalisierung auf neue Aufgaben gezeigt haben, sind die Trainingsphasen stark auf große Mengen an diversen und hochwertigen Instruktionsdaten (wie bei ChatGPT und GPT-4) angewiesen. Leider kann die Beschaffung hochwertiger Daten, insbesondere von menschengeschriebenen Daten, erhebliche Herausforderungen in Bezug auf Kosten und Zugänglichkeit darstellen. Darüber hinaus können Bedenken im Zusammenhang mit dem Datenschutz den Zugang zu solchen Daten weiter einschränken, was den Prozess ihrer Beschaffung zu einem komplexen und vielschichtigen Unterfangen macht. Folglich beeinträchtigt dies die Allgemeingültigkeit der abgestimmten Modelle und kann ihre Wirksamkeit in bestimmten Kontexten einschränken. Um dieses Problem zu lösen, stellt unsere Studie einen neuen Ansatz namens Federated Instruction Tuning (FedIT) vor, der Federated Learning (FL) als Lernframework für das Instruction Tuning von LLMs nutzt. Dies markiert die erste Erkundung von FL-basiertem Instruction Tuning für LLMs. Dies ist besonders wichtig, da Textdaten überwiegend von Endnutzern generiert werden. Daher ist es unerlässlich, FL-Ansätze zu entwerfen und anzupassen, um die vielfältigen Instruktionen, die auf lokalen Geräten gespeichert sind, effektiv zu nutzen, während der Datenschutz und die Datensicherheit gewährleistet werden. In der vorliegenden Arbeit zeigen wir durch eine weit verbreitete GPT-4-Autobewertung, dass wir durch die Nutzung der heterogenen und diversen Instruktionssätze auf der Client-Seite mit dem vorgeschlagenen Framework FedIT die Leistung von LLMs im Vergleich zum zentralisierten Training mit nur begrenzten lokalen Instruktionen verbessern konnten. Darüber hinaus haben wir in dieser Arbeit ein GitHub-Repository namens Shepherd entwickelt. Dieses Repository bietet ein grundlegendes Framework für die Erforschung des federated Fine-Tunings von LLMs unter Verwendung heterogener Instruktionen aus verschiedenen Kategorien.

English

While ``instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.