Ferret: Gefedereerde Volledige-Parameter Afstelling op Schaal voor Grote Taalmodellen

Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models

September 10, 2024

Auteurs: Yao Shu, Wenyang Hu, See-Kiong Ng, Bryan Kian Hsiang Low, Fei Richard Yu

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) zijn onmisbaar geworden in tal van praktische toepassingen. Helaas brengt het fijnafstemmen van deze modellen op grote schaal, vooral in gefedereerde omgevingen waar gegevensprivacy en communicatie-efficiëntie cruciaal zijn, aanzienlijke uitdagingen met zich mee. Bestaande methoden grijpen vaak terug op parameter-efficiënt fijnafstemmen (PEFT) om communicatie-overhead te verminderen, maar dit gaat meestal ten koste van de modelnauwkeurigheid. Om deze beperkingen aan te pakken, stellen wij federale volledige-parameterafstemming op schaal voor voor LLM's (Ferret), de eerste first-order methode met gedeelde willekeurigheid om schaalbare volledige-parameterafstemming van LLM's over gedecentraliseerde gegevensbronnen mogelijk te maken met behoud van concurrerende modelnauwkeurigheid. Ferret bereikt dit door drie aspecten: (1) het maakt gebruik van veelgebruikte first-order methoden voor efficiënte lokale updates; (2) het projecteert deze updates in een laag-dimensionale ruimte om de communicatie-overhead aanzienlijk te verminderen; en (3) het reconstrueert lokale updates vanuit deze laag-dimensionale ruimte met gedeelde willekeurigheid om effectieve volledige-parameter wereldwijde aggregatie te vergemakkelijken, wat zorgt voor snelle convergentie en concurrerende uiteindelijke prestaties. Onze rigoureuze theoretische analyses en inzichten, samen met uitgebreide experimenten, tonen aan dat Ferret de schaalbaarheid van bestaande gefedereerde volledige-parameterafstemmingsbenaderingen aanzienlijk verbetert door hoge rekenkundige efficiëntie, verminderde communicatie-overhead en snelle convergentie te bereiken, terwijl concurrerende modelnauwkeurigheid wordt gehandhaafd. Onze implementatie is beschikbaar op https://github.com/allen4747/Ferret.

English

Large Language Models (LLMs) have become indispensable in numerous real-world applications. Unfortunately, fine-tuning these models at scale, especially in federated settings where data privacy and communication efficiency are critical, presents significant challenges. Existing methods often resort to parameter-efficient fine-tuning (PEFT) to mitigate communication overhead, but this typically comes at the cost of model accuracy. To address these limitations, we propose federated full-parameter tuning at scale for LLMs (Ferret), the first first-order method with shared randomness to enable scalable full-parameter tuning of LLMs across decentralized data sources while maintaining competitive model accuracy. Ferret accomplishes this through three aspects: (1) it employs widely applied first-order methods for efficient local updates; (2) it projects these updates into a low-dimensional space to considerably reduce communication overhead; and (3) it reconstructs local updates from this low-dimensional space with shared randomness to facilitate effective full-parameter global aggregation, ensuring fast convergence and competitive final performance. Our rigorous theoretical analyses and insights along with extensive experiments, show that Ferret significantly enhances the scalability of existing federated full-parameter tuning approaches by achieving high computational efficiency, reduced communication overhead, and fast convergence, all while maintaining competitive model accuracy. Our implementation is available at https://github.com/allen4747/Ferret.