Esboço Federado LoRA: Ajuste Fino Colaborativo em Dispositivos de Modelos de Linguagem Grandes

Federated Sketching LoRA: On-Device Collaborative Fine-Tuning of Large Language Models

January 31, 2025

Autores: Wenzhi Fang, Dong-Jun Han, Liangqi Yuan, Seyyedali Hosseinalipour, Christopher G. Brinton

cs.AI

Resumo

O ajuste fino de grandes modelos de linguagem (LLMs) em dispositivos está atraindo um interesse crescente. Trabalhos recentes têm fundido técnicas de adaptação de baixa ordem (LoRA) com ajuste fino federado para mitigar os desafios associados aos tamanhos de modelo de dispositivo e à escassez de dados. Ainda assim, a heterogeneidade dos recursos computacionais permanece um gargalo crítico: enquanto módulos de ordem superior geralmente melhoram o desempenho, as capacidades variadas dos dispositivos restringem a faixa de ordem viável do LoRA. Abordagens existentes que tentam resolver esse problema ou carecem de justificativa analítica ou impõem sobrecarga computacional adicional, deixando uma lacuna ampla para uma solução eficiente e teoricamente fundamentada. Para enfrentar esses desafios, propomos o LoRA de esboço federado (FSLoRA), que alavanca um mecanismo de esboço para permitir que os dispositivos atualizem seletivamente submatrizes dos módulos globais do LoRA mantidos pelo servidor. Ao ajustar as proporções de esboço, que determinam as ordens das submatrizes nos dispositivos, o FSLoRA se adapta de forma flexível às restrições de comunicação e computacionais específicas do dispositivo. Fornecemos uma análise rigorosa de convergência do FSLoRA que caracteriza como as proporções de esboço afetam a taxa de convergência. Através de experimentos abrangentes em vários conjuntos de dados e modelos LLM, demonstramos o desempenho superior do FSLoRA em comparação com várias bases.

English

Fine-tuning large language models (LLMs) on devices is attracting increasing interest. Recent works have fused low-rank adaptation (LoRA) techniques with federated fine-tuning to mitigate challenges associated with device model sizes and data scarcity. Still, the heterogeneity of computational resources remains a critical bottleneck: while higher-rank modules generally enhance performance, varying device capabilities constrain LoRA's feasible rank range. Existing approaches attempting to resolve this issue either lack analytical justification or impose additional computational overhead, leaving a wide gap for an efficient and theoretically-grounded solution. To address these challenges, we propose federated sketching LoRA (FSLoRA), which leverages a sketching mechanism to enable devices to selectively update submatrices of global LoRA modules maintained by the server. By adjusting the sketching ratios, which determine the ranks of the submatrices on the devices, FSLoRA flexibly adapts to device-specific communication and computational constraints. We provide a rigorous convergence analysis of FSLoRA that characterizes how the sketching ratios affect the convergence rate. Through comprehensive experiments on multiple datasets and LLM models, we demonstrate FSLoRA's superior performance compared to various baselines.