Hacia la Construcción del GPT Federado: Ajuste de Instrucciones Federado

Towards Building the Federated GPT: Federated Instruction Tuning

May 9, 2023

Autores: Jianyi Zhang, Saeed Vahidian, Martin Kuo, Chunyuan Li, Ruiyi Zhang, Guoyin Wang, Yiran Chen

cs.AI

Resumen

Si bien los modelos generativos de lenguaje de gran escala (LLMs, por sus siglas en inglés) ajustados mediante instrucciones han demostrado una capacidad impresionante para generalizar a nuevas tareas, las fases de entrenamiento dependen en gran medida de grandes cantidades de datos de instrucciones diversos y de alta calidad (como en el caso de ChatGPT y GPT-4). Desafortunadamente, la adquisición de datos de alta calidad, especialmente cuando se trata de datos escritos por humanos, puede presentar desafíos significativos tanto en términos de coste como de accesibilidad. Además, las preocupaciones relacionadas con la privacidad pueden limitar aún más el acceso a dichos datos, convirtiendo el proceso de obtención en una tarea compleja y matizada. En consecuencia, esto dificulta la generalidad de los modelos ajustados y puede restringir su eficacia en ciertos contextos. Para abordar este problema, nuestro estudio introduce un nuevo enfoque llamado Ajuste de Instrucciones Federado (FedIT, por sus siglas en inglés), que aprovecha el aprendizaje federado (FL, por sus siglas en inglés) como marco de aprendizaje para el ajuste de instrucciones de LLMs. Esto marca la primera exploración del ajuste de instrucciones basado en FL para LLMs. Esto es especialmente importante dado que los datos de texto son generados predominantemente por los usuarios finales. Por lo tanto, es imperativo diseñar y adaptar enfoques de FL para aprovechar de manera efectiva las diversas instrucciones de estos usuarios almacenadas en dispositivos locales, preservando la privacidad y garantizando la seguridad de los datos. En el presente artículo, mediante la realización de una evaluación automática ampliamente utilizada con GPT-4, demostramos que al explotar los conjuntos de instrucciones heterogéneos y diversos en el lado del cliente con el marco propuesto FedIT, mejoramos el rendimiento de los LLMs en comparación con el entrenamiento centralizado utilizando solo instrucciones locales limitadas. Además, en este artículo, desarrollamos un repositorio de Github llamado Shepherd. Este repositorio ofrece un marco fundamental para explorar el ajuste fino federado de LLMs utilizando instrucciones heterogéneas en diversas categorías.

English

While ``instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.