Federated Sketching LoRA: On-Device Samenwerking voor Fijnafstemming van Grote Taalmodellen

Federated Sketching LoRA: On-Device Collaborative Fine-Tuning of Large Language Models

January 31, 2025

Auteurs: Wenzhi Fang, Dong-Jun Han, Liangqi Yuan, Seyyedali Hosseinalipour, Christopher G. Brinton

cs.AI

Samenvatting

Het fine-tunen van grote taalmodellen (LLM's) op apparaten trekt steeds meer interesse. Recente werken hebben lage-rang aanpassingstechnieken (LoRA) gecombineerd met gefedereerd fine-tunen om uitdagingen met betrekking tot de grootte van apparaatmodellen en gegevensschaarste te verminderen. Toch blijft de heterogeniteit van computationele middelen een kritieke bottleneck: terwijl modules met hogere rang over het algemeen de prestaties verbeteren, beperken variërende apparaatmogelijkheden het haalbare rangbereik van LoRA. Bestaande benaderingen die proberen dit probleem op te lossen, ontberen ofwel analytische rechtvaardiging of leggen extra computationele overhead op, waardoor er een grote ruimte is voor een efficiënte en theoretisch gefundeerde oplossing. Om deze uitdagingen aan te pakken, stellen we federated sketching LoRA (FSLoRA) voor, dat een schetsmechanisme benut om apparaten in staat te stellen selectief submatrices van wereldwijde LoRA-modules bij te werken die worden onderhouden door de server. Door de schetsverhoudingen aan te passen, die de rangen van de submatrices op de apparaten bepalen, past FSLoRA zich flexibel aan aan apparaatspecifieke communicatie- en computationele beperkingen. We bieden een rigoureuze convergentieanalyse van FSLoRA die karakteriseert hoe de schetsverhoudingen de convergentiesnelheid beïnvloeden. Door uitgebreide experimenten op meerdere datasets en LLM-modellen tonen we aan dat FSLoRA superieure prestaties levert in vergelijking met verschillende baselines.

English

Fine-tuning large language models (LLMs) on devices is attracting increasing interest. Recent works have fused low-rank adaptation (LoRA) techniques with federated fine-tuning to mitigate challenges associated with device model sizes and data scarcity. Still, the heterogeneity of computational resources remains a critical bottleneck: while higher-rank modules generally enhance performance, varying device capabilities constrain LoRA's feasible rank range. Existing approaches attempting to resolve this issue either lack analytical justification or impose additional computational overhead, leaving a wide gap for an efficient and theoretically-grounded solution. To address these challenges, we propose federated sketching LoRA (FSLoRA), which leverages a sketching mechanism to enable devices to selectively update submatrices of global LoRA modules maintained by the server. By adjusting the sketching ratios, which determine the ranks of the submatrices on the devices, FSLoRA flexibly adapts to device-specific communication and computational constraints. We provide a rigorous convergence analysis of FSLoRA that characterizes how the sketching ratios affect the convergence rate. Through comprehensive experiments on multiple datasets and LLM models, we demonstrate FSLoRA's superior performance compared to various baselines.