Hurón: Ajuste Federado de Parámetros Completos a Escala para Modelos de Lenguaje Grandes

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models

September 10, 2024

Autores: Yao Shu, Wenyang Hu, See-Kiong Ng, Bryan Kian Hsiang Low, Fei Richard Yu

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLMs, por sus siglas en inglés) se han vuelto indispensables en numerosas aplicaciones del mundo real. Desafortunadamente, ajustar estos modelos a gran escala, especialmente en entornos federados donde la privacidad de los datos y la eficiencia de la comunicación son críticas, presenta desafíos significativos. Los métodos existentes a menudo recurren al ajuste eficiente de parámetros (PEFT, por sus siglas en inglés) para mitigar la sobrecarga de comunicación, pero esto suele implicar un costo en la precisión del modelo. Para abordar estas limitaciones, proponemos el ajuste federado de todos los parámetros a gran escala para LLMs (Ferret), el primer método de primer orden con aleatoriedad compartida que permite el ajuste escalable de todos los parámetros de LLMs a través de fuentes de datos descentralizadas, manteniendo al mismo tiempo una precisión de modelo competitiva. Ferret logra esto a través de tres aspectos: (1) emplea métodos de primer orden ampliamente aplicados para actualizaciones locales eficientes; (2) proyecta estas actualizaciones en un espacio de baja dimensionalidad para reducir considerablemente la sobrecarga de comunicación; y (3) reconstruye las actualizaciones locales desde este espacio de baja dimensionalidad con aleatoriedad compartida para facilitar una agregación global efectiva de todos los parámetros, asegurando una convergencia rápida y un rendimiento final competitivo. Nuestros rigurosos análisis teóricos y perspicacias, junto con experimentos extensos, muestran que Ferret mejora significativamente la escalabilidad de los enfoques existentes de ajuste federado de todos los parámetros al lograr una alta eficiencia computacional, una reducción en la sobrecarga de comunicación y una convergencia rápida, todo ello manteniendo una precisión de modelo competitiva. Nuestra implementación está disponible en https://github.com/allen4747/Ferret.

English

Large Language Models (LLMs) have become indispensable in numerous real-world applications. Unfortunately, fine-tuning these models at scale, especially in federated settings where data privacy and communication efficiency are critical, presents significant challenges. Existing methods often resort to parameter-efficient fine-tuning (PEFT) to mitigate communication overhead, but this typically comes at the cost of model accuracy. To address these limitations, we propose federated full-parameter tuning at scale for LLMs (Ferret), the first first-order method with shared randomness to enable scalable full-parameter tuning of LLMs across decentralized data sources while maintaining competitive model accuracy. Ferret accomplishes this through three aspects: (1) it employs widely applied first-order methods for efficient local updates; (2) it projects these updates into a low-dimensional space to considerably reduce communication overhead; and (3) it reconstructs local updates from this low-dimensional space with shared randomness to facilitate effective full-parameter global aggregation, ensuring fast convergence and competitive final performance. Our rigorous theoretical analyses and insights along with extensive experiments, show that Ferret significantly enhances the scalability of existing federated full-parameter tuning approaches by achieving high computational efficiency, reduced communication overhead, and fast convergence, all while maintaining competitive model accuracy. Our implementation is available at https://github.com/allen4747/Ferret.