Verso la Costruzione del GPT Federato: Ottimizzazione Federata delle Istruzioni

Towards Building the Federated GPT: Federated Instruction Tuning

May 9, 2023

Autori: Jianyi Zhang, Saeed Vahidian, Martin Kuo, Chunyuan Li, Ruiyi Zhang, Guoyin Wang, Yiran Chen

cs.AI

Abstract

Sebbene i modelli generativi di linguaggio su larga scala (LLM) "ottimizzati per istruzioni" abbiano dimostrato una notevole capacità di generalizzare su nuovi compiti, le fasi di addestramento dipendono fortemente da grandi quantità di dati di istruzioni diversificati e di alta qualità (come nel caso di ChatGPT e GPT-4). Purtroppo, l'acquisizione di dati di alta qualità, specialmente quando si tratta di dati scritti da esseri umani, può presentare sfide significative sia in termini di costi che di accessibilità. Inoltre, preoccupazioni legate alla privacy possono ulteriormente limitare l'accesso a tali dati, rendendo il processo di ottenimento un'impresa complessa e articolata. Di conseguenza, ciò ostacola la generalità dei modelli ottimizzati e può limitarne l'efficacia in determinati contesti. Per affrontare questo problema, il nostro studio introduce un nuovo approccio chiamato Federated Instruction Tuning (FedIT), che sfrutta l'apprendimento federato (FL) come framework di apprendimento per l'ottimizzazione delle istruzioni degli LLM. Questo rappresenta la prima esplorazione dell'ottimizzazione delle istruzioni basata su FL per gli LLM. Ciò è particolarmente importante poiché i dati testuali sono prevalentemente generati dagli utenti finali. Pertanto, è imperativo progettare e adattare approcci FL per sfruttare efficacemente le diverse istruzioni degli utenti memorizzate sui dispositivi locali, preservando al contempo la privacy e garantendo la sicurezza dei dati. Nel presente articolo, attraverso una valutazione automatica ampiamente utilizzata con GPT-4, dimostriamo che, sfruttando gli insiemi eterogenei e diversificati di istruzioni sul lato client con il framework proposto FedIT, abbiamo migliorato le prestazioni degli LLM rispetto all'addestramento centralizzato con solo istruzioni locali limitate. Inoltre, in questo articolo, abbiamo sviluppato un repository GitHub chiamato Shepherd. Questo repository offre un framework di base per esplorare la messa a punto federata degli LLM utilizzando istruzioni eterogenee in diverse categorie.

English

While ``instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.