Federated Sketching LoRA: Ottimizzazione Fine su Dispositivo Collaborativa di Grandi Modelli Linguistici

Federated Sketching LoRA: On-Device Collaborative Fine-Tuning of Large Language Models

January 31, 2025

Autori: Wenzhi Fang, Dong-Jun Han, Liangqi Yuan, Seyyedali Hosseinalipour, Christopher G. Brinton

cs.AI

Abstract

Il raffinamento dei grandi modelli linguistici (LLM) sui dispositivi sta attirando un interesse crescente. Lavori recenti hanno fuso le tecniche di adattamento a basso rango (LoRA) con il raffinamento federato per mitigare le sfide associate alle dimensioni dei modelli sui dispositivi e alla scarsità di dati. Tuttavia, l'eterogeneità delle risorse computazionali rimane un collo di bottiglia critico: mentre i moduli di rango più elevato generalmente migliorano le prestazioni, le capacità variabili dei dispositivi limitano l'intervallo di rango fattibile per LoRA. Gli approcci esistenti che cercano di risolvere questo problema mancano di giustificazione analitica o impongono un overhead computazionale aggiuntivo, lasciando un ampio margine per una soluzione efficiente e teoricamente fondata. Per affrontare queste sfide, proponiamo LoRA a schizzo federato (FSLoRA), che sfrutta un meccanismo di schizzo per consentire ai dispositivi di aggiornare selettivamente le sottomatrici dei moduli globali LoRA mantenuti dal server. Regolando i rapporti di schizzo, che determinano i ranghi delle sottomatrici sui dispositivi, FSLoRA si adatta in modo flessibile ai vincoli di comunicazione e di calcolo specifici del dispositivo. Forniamo un'analisi rigorosa della convergenza di FSLoRA che caratterizza come i rapporti di schizzo influenzano il tasso di convergenza. Attraverso esperimenti esaustivi su più set di dati e modelli LLM, dimostriamo le prestazioni superiori di FSLoRA rispetto a vari baselines.

English

Fine-tuning large language models (LLMs) on devices is attracting increasing interest. Recent works have fused low-rank adaptation (LoRA) techniques with federated fine-tuning to mitigate challenges associated with device model sizes and data scarcity. Still, the heterogeneity of computational resources remains a critical bottleneck: while higher-rank modules generally enhance performance, varying device capabilities constrain LoRA's feasible rank range. Existing approaches attempting to resolve this issue either lack analytical justification or impose additional computational overhead, leaving a wide gap for an efficient and theoretically-grounded solution. To address these challenges, we propose federated sketching LoRA (FSLoRA), which leverages a sketching mechanism to enable devices to selectively update submatrices of global LoRA modules maintained by the server. By adjusting the sketching ratios, which determine the ranks of the submatrices on the devices, FSLoRA flexibly adapts to device-specific communication and computational constraints. We provide a rigorous convergence analysis of FSLoRA that characterizes how the sketching ratios affect the convergence rate. Through comprehensive experiments on multiple datasets and LLM models, we demonstrate FSLoRA's superior performance compared to various baselines.