Rumo à Construção do GPT Federado: Ajuste Fino de Instruções em Federação

Towards Building the Federated GPT: Federated Instruction Tuning

May 9, 2023

Autores: Jianyi Zhang, Saeed Vahidian, Martin Kuo, Chunyuan Li, Ruiyi Zhang, Guoyin Wang, Yiran Chen

cs.AI

Resumo

Embora os modelos generativos de linguagem de grande escala (LLMs) ajustados por instruções tenham demonstrado uma capacidade impressionante de generalizar para novas tarefas, as fases de treinamento dependem fortemente de grandes quantidades de dados de instrução diversos e de alta qualidade (como no caso do ChatGPT e GPT-4). Infelizmente, a aquisição de dados de alta qualidade, especialmente quando se trata de dados escritos por humanos, pode apresentar desafios significativos em termos de custo e acessibilidade. Além disso, preocupações relacionadas à privacidade podem limitar ainda mais o acesso a esses dados, tornando o processo de obtenção uma tarefa complexa e cheia de nuances. Consequentemente, isso prejudica a generalidade dos modelos ajustados e pode restringir sua eficácia em determinados contextos. Para enfrentar esse problema, nosso estudo introduz uma nova abordagem chamada Ajuste de Instrução Federado (FedIT), que utiliza o aprendizado federado (FL) como estrutura de aprendizado para o ajuste de instruções de LLMs. Isso marca a primeira exploração do ajuste de instruções baseado em FL para LLMs. Isso é especialmente importante, já que os dados de texto são predominantemente gerados pelos usuários finais. Portanto, é imperativo projetar e adaptar abordagens de FL para aproveitar efetivamente as diversas instruções desses usuários armazenadas em dispositivos locais, preservando a privacidade e garantindo a segurança dos dados. No presente artigo, ao realizar uma avaliação automática amplamente utilizada com o GPT-4, demonstramos que, ao explorar os conjuntos heterogêneos e diversos de instruções no lado do cliente com o framework proposto FedIT, melhoramos o desempenho dos LLMs em comparação com o treinamento centralizado com apenas instruções locais limitadas. Além disso, neste artigo, desenvolvemos um repositório no Github chamado Shepherd. Esse repositório oferece uma estrutura fundamental para explorar o ajuste fino federado de LLMs usando instruções heterogêneas em diversas categorias.

English

While ``instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.