Ferret: Föderiertes vollständiges Parameter-Tuning im großen Maßstab für große Sprachmodelle

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models

September 10, 2024

Autoren: Yao Shu, Wenyang Hu, See-Kiong Ng, Bryan Kian Hsiang Low, Fei Richard Yu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) sind in zahlreichen realen Anwendungen unverzichtbar geworden. Leider stellen das Feintuning dieser Modelle im großen Maßstab, insbesondere in föderierten Umgebungen, in denen Datenschutz und Kommunikationseffizienz entscheidend sind, erhebliche Herausforderungen dar. Bestehende Methoden greifen häufig auf parameter-effizientes Feintuning (PEFT) zurück, um Kommunikationsüberlastungen zu mildern, was jedoch in der Regel auf Kosten der Modellgenauigkeit erfolgt. Um diese Einschränkungen zu überwinden, schlagen wir federiertes vollständiges Parameter-Tuning im großen Maßstab für LLMs (Ferret) vor, die erste Methode erster Ordnung mit gemeinsamer Zufälligkeit, um ein skalierbares vollständiges Parameter-Tuning von LLMs über dezentrale Datenquellen hinweg zu ermöglichen, während die Wettbewerbsfähigkeit der Modellgenauigkeit erhalten bleibt. Ferret erreicht dies durch drei Aspekte: (1) Es verwendet weit verbreitete Methoden erster Ordnung für effiziente lokale Aktualisierungen; (2) es projiziert diese Aktualisierungen in einen niedrigdimensionalen Raum, um die Kommunikationsüberlastung erheblich zu reduzieren; und (3) es rekonstruiert lokale Aktualisierungen aus diesem niedrigdimensionalen Raum mit gemeinsamer Zufälligkeit, um eine effektive globale Aggregation aller Parameter zu ermöglichen, was schnelle Konvergenz und wettbewerbsfähige Endleistung gewährleistet. Unsere rigorosen theoretischen Analysen und Erkenntnisse sowie umfangreiche Experimente zeigen, dass Ferret die Skalierbarkeit bestehender Ansätze für föderiertes vollständiges Parameter-Tuning erheblich verbessert, indem hohe Rechenleistungseffizienz, reduzierte Kommunikationsüberlastung und schnelle Konvergenz erreicht werden, während die Modellgenauigkeit wettbewerbsfähig bleibt. Unsere Implementierung ist unter https://github.com/allen4747/Ferret verfügbar.

English

Large Language Models (LLMs) have become indispensable in numerous real-world applications. Unfortunately, fine-tuning these models at scale, especially in federated settings where data privacy and communication efficiency are critical, presents significant challenges. Existing methods often resort to parameter-efficient fine-tuning (PEFT) to mitigate communication overhead, but this typically comes at the cost of model accuracy. To address these limitations, we propose federated full-parameter tuning at scale for LLMs (Ferret), the first first-order method with shared randomness to enable scalable full-parameter tuning of LLMs across decentralized data sources while maintaining competitive model accuracy. Ferret accomplishes this through three aspects: (1) it employs widely applied first-order methods for efficient local updates; (2) it projects these updates into a low-dimensional space to considerably reduce communication overhead; and (3) it reconstructs local updates from this low-dimensional space with shared randomness to facilitate effective full-parameter global aggregation, ensuring fast convergence and competitive final performance. Our rigorous theoretical analyses and insights along with extensive experiments, show that Ferret significantly enhances the scalability of existing federated full-parameter tuning approaches by achieving high computational efficiency, reduced communication overhead, and fast convergence, all while maintaining competitive model accuracy. Our implementation is available at https://github.com/allen4747/Ferret.