Хорек: Федеративная настройка всех параметров в масштабе для больших языковых моделей

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models

September 10, 2024

Авторы: Yao Shu, Wenyang Hu, See-Kiong Ng, Bryan Kian Hsiang Low, Fei Richard Yu

cs.AI

Аннотация

Большие языковые модели (LLM) стали неотъемлемой частью множества прикладных задач в реальном мире. К сожалению, настройка этих моделей в масштабе, особенно в федеративных средах, где важны конфиденциальность данных и эффективность коммуникации, представляет существенные вызовы. Существующие методы часто прибегают к параметрически эффективной настройке (PEFT) для смягчения накладных расходов на коммуникацию, но это обычно происходит за счет точности модели. Для преодоления этих ограничений мы предлагаем федеративную настройку всех параметров в масштабе для LLM (Ferret), первый метод первого порядка с общим случайным элементом, позволяющий масштабируемую настройку всех параметров LLM по децентрализованным источникам данных с сохранением конкурентоспособной точности модели. Ferret достигает этого через три аспекта: (1) он использует широко применяемые методы первого порядка для эффективных локальных обновлений; (2) он проецирует эти обновления в низкоразмерное пространство для значительного снижения накладных расходов на коммуникацию; и (3) он восстанавливает локальные обновления из этого низкоразмерного пространства с общим случайным элементом для обеспечения эффективной глобальной агрегации всех параметров, обеспечивая быструю сходимость и конкурентоспособную конечную производительность. Наши строгие теоретические анализы и исследования, а также обширные эксперименты, показывают, что Ferret значительно улучшает масштабируемость существующих подходов к федеративной настройке всех параметров путем достижения высокой вычислительной эффективности, снижения накладных расходов на коммуникацию и быстрой сходимости, сохраняя при этом конкурентоспособную точность модели. Наша реализация доступна по адресу https://github.com/allen4747/Ferret.

English

Large Language Models (LLMs) have become indispensable in numerous real-world applications. Unfortunately, fine-tuning these models at scale, especially in federated settings where data privacy and communication efficiency are critical, presents significant challenges. Existing methods often resort to parameter-efficient fine-tuning (PEFT) to mitigate communication overhead, but this typically comes at the cost of model accuracy. To address these limitations, we propose federated full-parameter tuning at scale for LLMs (Ferret), the first first-order method with shared randomness to enable scalable full-parameter tuning of LLMs across decentralized data sources while maintaining competitive model accuracy. Ferret accomplishes this through three aspects: (1) it employs widely applied first-order methods for efficient local updates; (2) it projects these updates into a low-dimensional space to considerably reduce communication overhead; and (3) it reconstructs local updates from this low-dimensional space with shared randomness to facilitate effective full-parameter global aggregation, ensuring fast convergence and competitive final performance. Our rigorous theoretical analyses and insights along with extensive experiments, show that Ferret significantly enhances the scalability of existing federated full-parameter tuning approaches by achieving high computational efficiency, reduced communication overhead, and fast convergence, all while maintaining competitive model accuracy. Our implementation is available at https://github.com/allen4747/Ferret.