Ferret : Réglage fédéré à grande échelle de tous les paramètres pour les grands modèles de langage

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models

September 10, 2024

Auteurs: Yao Shu, Wenyang Hu, See-Kiong Ng, Bryan Kian Hsiang Low, Fei Richard Yu

cs.AI

Résumé

Les grands modèles de langage (LLM) sont devenus indispensables dans de nombreuses applications du monde réel. Malheureusement, le réglage fin de ces modèles à grande échelle, notamment dans des environnements fédérés où la confidentialité des données et l'efficacité de la communication sont critiques, présente des défis importants. Les méthodes existantes ont souvent recours au réglage fin à paramètres efficaces (PEFT) pour atténuer la surcharge de communication, mais cela se fait généralement au détriment de la précision du modèle. Pour remédier à ces limitations, nous proposons l'accordage complet des paramètres à grande échelle pour les LLM (Ferret), le premier méthode du premier ordre avec une aléatoire partagée pour permettre un accordage complet des paramètres des LLM à travers des sources de données décentralisées tout en maintenant une précision de modèle compétitive. Ferret réalise cela à travers trois aspects : (1) il utilise des méthodes du premier ordre largement appliquées pour des mises à jour locales efficaces ; (2) il projette ces mises à jour dans un espace de basse dimension pour réduire considérablement la surcharge de communication ; et (3) il reconstruit les mises à jour locales à partir de cet espace de basse dimension avec une aléatoire partagée pour faciliter une agrégation globale efficace des paramètres complets, assurant une convergence rapide et une performance finale compétitive. Nos analyses théoriques rigoureuses et nos insights ainsi que des expériences approfondies montrent que Ferret améliore significativement la scalabilité des approches existantes d'accordage complet des paramètres fédérés en atteignant une haute efficacité computationnelle, une réduction de la surcharge de communication et une convergence rapide, tout en maintenant une précision de modèle compétitive. Notre implémentation est disponible sur https://github.com/allen4747/Ferret.

English

Large Language Models (LLMs) have become indispensable in numerous real-world applications. Unfortunately, fine-tuning these models at scale, especially in federated settings where data privacy and communication efficiency are critical, presents significant challenges. Existing methods often resort to parameter-efficient fine-tuning (PEFT) to mitigate communication overhead, but this typically comes at the cost of model accuracy. To address these limitations, we propose federated full-parameter tuning at scale for LLMs (Ferret), the first first-order method with shared randomness to enable scalable full-parameter tuning of LLMs across decentralized data sources while maintaining competitive model accuracy. Ferret accomplishes this through three aspects: (1) it employs widely applied first-order methods for efficient local updates; (2) it projects these updates into a low-dimensional space to considerably reduce communication overhead; and (3) it reconstructs local updates from this low-dimensional space with shared randomness to facilitate effective full-parameter global aggregation, ensuring fast convergence and competitive final performance. Our rigorous theoretical analyses and insights along with extensive experiments, show that Ferret significantly enhances the scalability of existing federated full-parameter tuning approaches by achieving high computational efficiency, reduced communication overhead, and fast convergence, all while maintaining competitive model accuracy. Our implementation is available at https://github.com/allen4747/Ferret.