DR-LoRA: LoRA с динамическим рангом для адаптации смеси экспертов

DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation

January 8, 2026

Авторы: Guanzhi Deng, Bo Li, Ronghao Chen, Huacan Wang, Linqi Song, Lijie Wen

cs.AI

Аннотация

Смесь экспертов (MoE) стала популярной парадигмой для масштабирования больших языковых моделей (LLM). Эффективный по параметрам тонкий настрой (PEFT), такой как LoRA, широко применяется для адаптации предварительно обученных MoE LLM к последующим задачам. Однако существующие подходы назначают всем экспертам одинаковые ранги LoRA, игнорируя внутреннюю функциональную специализацию в MoE LLM. Такое равномерное распределение приводит к несоответствию ресурсов: эксперты, релевантные задаче, получают недостаточно параметров, тогда как менее релевантные — избыточные. Мы предлагаем фреймворк Dynamic Rank LoRA (DR-LoRA), который динамически увеличивает ранги LoRA экспертов в процессе тонкой настройки на основе специфических требований задачи. DR-LoRA использует механизм оценки значимости экспертов, интегрирующий частоту маршрутизации экспертов и важность ранга LoRA для количественной оценки потребности каждого эксперта в дополнительной емкости. Эксперты с более высокими показателями значимости получают приоритет для расширения ранга, что позволяет автоматически формировать гетерогенное распределение рангов, адаптированное к целевой задаче. Эксперименты на нескольких наборах данных показывают, что DR-LoRA стабильно превосходит стандартный LoRA и стратегии статического распределения при одинаковом бюджете параметров, достигая превосходной производительности на задачах за счет более эффективного использования параметров.

English

Mixture-of-Experts (MoE) has become a prominent paradigm for scaling Large Language Models (LLMs). Parameter-efficient fine-tuning (PEFT), such as LoRA, is widely adopted to adapt pretrained MoE LLMs to downstream tasks. However, existing approaches assign identical LoRA ranks to all experts, overlooking the intrinsic functional specialization within MoE LLMs. This uniform allocation leads to resource mismatch, task-relevant experts are under-provisioned while less relevant ones receive redundant parameters. We propose a Dynamic Rank LoRA framework named DR-LoRA, which dynamically grows expert LoRA ranks during fine-tuning based on task-specific demands. DR-LoRA employs an Expert Saliency Scoring mechanism that integrates expert routing frequency and LoRA rank importance to quantify each expert's demand for additional capacity. Experts with higher saliency scores are prioritized for rank expansion, enabling the automatic formation of a heterogeneous rank distribution tailored to the target task. Experiments on multiple benchmarks demonstrate that DR-LoRA consistently outperforms standard LoRA and static allocation strategies under the same parameter budget, achieving superior task performance with more efficient parameter utilization.