К созданию федеративного GPT: федеративная настройка по инструкциям

Towards Building the Federated GPT: Federated Instruction Tuning

May 9, 2023

Авторы: Jianyi Zhang, Saeed Vahidian, Martin Kuo, Chunyuan Li, Ruiyi Zhang, Guoyin Wang, Yiran Chen

cs.AI

Аннотация

Хотя «инструктивно настроенные» генеративные большие языковые модели (LLM) продемонстрировали впечатляющую способность обобщать новые задачи, этапы их обучения в значительной степени зависят от больших объемов разнообразных и качественных данных с инструкциями (например, ChatGPT и GPT-4). К сожалению, получение высококачественных данных, особенно созданных людьми, может представлять значительные трудности с точки зрения затрат и доступности. Более того, проблемы, связанные с конфиденциальностью, могут дополнительно ограничивать доступ к таким данным, делая процесс их получения сложным и многоаспектным. В результате это ограничивает универсальность настроенных моделей и может снижать их эффективность в определенных контекстах. Для решения этой проблемы наше исследование предлагает новый подход под названием Федеративная Настройка по Инструкциям (Federated Instruction Tuning, FedIT), который использует федеративное обучение (Federated Learning, FL) в качестве обучающей структуры для настройки LLM по инструкциям. Это первое исследование, посвященное инструктивной настройке LLM на основе FL. Это особенно важно, поскольку текстовые данные в основном генерируются конечными пользователями. Следовательно, необходимо разрабатывать и адаптировать подходы FL для эффективного использования разнообразных инструкций, хранящихся на локальных устройствах пользователей, при этом сохраняя конфиденциальность и обеспечивая безопасность данных. В данной статье, используя широко применяемую автоматическую оценку GPT-4, мы демонстрируем, что за счет использования гетерогенных и разнообразных наборов инструкций на стороне клиента с предложенной структурой FedIT, мы улучшили производительность LLM по сравнению с централизованным обучением, использующим только ограниченные локальные инструкции. Кроме того, в этой статье мы разработали репозиторий на GitHub под названием Shepherd. Этот репозиторий предоставляет базовую структуру для исследования федеративной тонкой настройки LLM с использованием гетерогенных инструкций в различных категориях.

English

While ``instruction-tuned" generative large language models (LLMs) have demonstrated an impressive ability to generalize to new tasks, the training phases heavily rely on large amounts of diverse and high-quality instruction data (such as ChatGPT and GPT-4). Unfortunately, acquiring high-quality data, especially when it comes to human-written data, can pose significant challenges both in terms of cost and accessibility. Moreover, concerns related to privacy can further limit access to such data, making the process of obtaining it a complex and nuanced undertaking. Consequently, this hinders the generality of the tuned models and may restrict their effectiveness in certain contexts. To tackle this issue, our study introduces a new approach called Federated Instruction Tuning (FedIT), which leverages federated learning (FL) as the learning framework for the instruction tuning of LLMs. This marks the first exploration of FL-based instruction tuning for LLMs. This is especially important since text data is predominantly generated by end users. Therefore, it is imperative to design and adapt FL approaches to effectively leverage these users' diverse instructions stored on local devices, while preserving privacy and ensuring data security. In the current paper, by conducting widely used GPT-4 auto-evaluation, we demonstrate that by exploiting the heterogeneous and diverse sets of instructions on the client's end with the proposed framework FedIT, we improved the performance of LLMs compared to centralized training with only limited local instructions. Further, in this paper, we developed a Github repository named Shepherd. This repository offers a foundational framework for exploring federated fine-tuning of LLMs using heterogeneous instructions across diverse categories.