Naar het bouwen van de Federated GPT: Federated Instructieafstemming

Samenvatting

Hoewel ``instruction-tuned" generatieve grote taalmodellen (LLM's) een indrukwekkend vermogen hebben getoond om zich aan te passen aan nieuwe taken, zijn de trainingsfasen sterk afhankelijk van grote hoeveelheden diverse en hoogwaardige instructiedata (zoals ChatGPT en GPT-4). Helaas kan het verkrijgen van hoogwaardige data, vooral als het gaat om door mensen geschreven data, aanzienlijke uitdagingen opleveren wat betreft kosten en toegankelijkheid. Bovendien kunnen zorgen over privacy de toegang tot dergelijke data verder beperken, waardoor het verkrijgen ervan een complexe en genuanceerde onderneming wordt. Dit belemmert uiteindelijk de algemene bruikbaarheid van de afgestemde modellen en kan hun effectiviteit in bepaalde contexten beperken. Om dit probleem aan te pakken, introduceert onze studie een nieuwe aanpak genaamd Federated Instruction Tuning (FedIT), die federated learning (FL) gebruikt als het leerframework voor het afstemmen van instructies voor LLM's. Dit markeert de eerste verkenning van FL-gebaseerde instructieafstemming voor LLM's. Dit is vooral belangrijk omdat tekstdata voornamelijk wordt gegenereerd door eindgebruikers. Daarom is het essentieel om FL-benaderingen te ontwerpen en aan te passen om effectief gebruik te maken van de diverse instructies van deze gebruikers die op lokale apparaten zijn opgeslagen, terwijl de privacy wordt gewaarborgd en de databeveiliging wordt gegarandeerd. In het huidige artikel tonen we, door middel van een veelgebruikte GPT-4 auto-evaluatie, aan dat door het benutten van de heterogene en diverse sets instructies aan de kant van de client met het voorgestelde framework FedIT, de prestaties van LLM's verbeteren in vergelijking met gecentraliseerde training met slechts beperkte lokale instructies. Verder hebben we in dit artikel een Github-repository ontwikkeld genaamd Shepherd. Deze repository biedt een basisraamwerk voor het verkennen van federated fine-tuning van LLM's met behulp van heterogene instructies in diverse categorieën.

English

While ``instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.

Naar het bouwen van de Federated GPT: Federated Instructieafstemming

Towards Building the Federated GPT: Federated Instruction Tuning

Samenvatting

Support