Распределенное зарисовывание LoRA: Совместная настройка крупных языковых моделей на устройстве

Federated Sketching LoRA: On-Device Collaborative Fine-Tuning of Large Language Models

January 31, 2025

Авторы: Wenzhi Fang, Dong-Jun Han, Liangqi Yuan, Seyyedali Hosseinalipour, Christopher G. Brinton

cs.AI

Аннотация

Настройка крупных языковых моделей (LLM) на устройствах привлекает все больший интерес. Недавние работы объединили техники адаптации низкого ранга (LoRA) с федеративной настройкой для смягчения проблем, связанных с размерами моделей устройств и дефицитом данных. Тем не менее, гетерогенность вычислительных ресурсов остается критическим узким местом: хотя модули более высокого ранга обычно улучшают производительность, различные возможности устройств ограничивают диапазон приемлемого ранга LoRA. Существующие подходы, пытающиеся решить эту проблему, либо лишены аналитического обоснования, либо накладывают дополнительные вычислительные нагрузки, что оставляет широкий промежуток для эффективного и теоретически обоснованного решения. Для решения этих проблем мы предлагаем федеративную схему LoRA (FSLoRA), которая использует механизм скетчинга для того, чтобы устройства могли выборочно обновлять подматрицы глобальных модулей LoRA, поддерживаемых сервером. Путем настройки коэффициентов скетчинга, определяющих ранги подматриц на устройствах, FSLoRA гибко адаптируется к устройственным коммуникационным и вычислительным ограничениям. Мы предоставляем строгий анализ сходимости FSLoRA, который характеризует, как коэффициенты скетчинга влияют на скорость сходимости. Через обширные эксперименты на нескольких наборах данных и моделях LLM мы демонстрируем превосходную производительность FSLoRA по сравнению с различными базовыми моделями.

English

Fine-tuning large language models (LLMs) on devices is attracting increasing interest. Recent works have fused low-rank adaptation (LoRA) techniques with federated fine-tuning to mitigate challenges associated with device model sizes and data scarcity. Still, the heterogeneity of computational resources remains a critical bottleneck: while higher-rank modules generally enhance performance, varying device capabilities constrain LoRA's feasible rank range. Existing approaches attempting to resolve this issue either lack analytical justification or impose additional computational overhead, leaving a wide gap for an efficient and theoretically-grounded solution. To address these challenges, we propose federated sketching LoRA (FSLoRA), which leverages a sketching mechanism to enable devices to selectively update submatrices of global LoRA modules maintained by the server. By adjusting the sketching ratios, which determine the ranks of the submatrices on the devices, FSLoRA flexibly adapts to device-specific communication and computational constraints. We provide a rigorous convergence analysis of FSLoRA that characterizes how the sketching ratios affect the convergence rate. Through comprehensive experiments on multiple datasets and LLM models, we demonstrate FSLoRA's superior performance compared to various baselines.