DR-LoRA : LoRA à Rang Dynamique pour l'Adaptation par Mélange d'Experts
DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation
January 8, 2026
papers.authors: Guanzhi Deng, Bo Li, Ronghao Chen, Huacan Wang, Linqi Song, Lijie Wen
cs.AI
papers.abstract
Le modèle à mélange d'experts (MoE) est devenu un paradigme majeur pour la mise à l'échelle des grands modèles de langage (LLM). Le fine-tuning économe en paramètres (PEFT), tel que LoRA, est largement adopté pour adapter les LLM MoE pré-entraînés à des tâches en aval. Cependant, les approches existantes attribuent un rang LoRA identique à tous les experts, négligeant la spécialisation fonctionnelle intrinsèque des LLM MoE. Cette allocation uniforme entraîne un déséquilibre des ressources : les experts pertinents pour la tâche sont sous-équipés tandis que les moins pertinents reçoivent des paramètres redondants. Nous proposons un cadre LoRA à rang dynamique nommé DR-LoRA, qui augmente dynamiquement le rang LoRA des experts pendant le fine-tuning en fonction des besoins spécifiques à la tâche. DR-LoRA utilise un mécanisme de notation de la saillance des experts qui intègre la fréquence de routage des experts et l'importance du rang LoRA pour quantifier la demande de capacité supplémentaire de chaque expert. Les experts ayant les scores de saillance les plus élevés sont prioritaires pour l'expansion de rang, permettant la formation automatique d'une distribution de rang hétérogène adaptée à la tâche cible. Les expériences sur plusieurs benchmarks démontrent que DR-LoRA surpasse constamment LoRA standard et les stratégies d'allocation statique sous un budget paramétrique équivalent, atteignant une performance supérieure sur la tâche avec une utilisation plus efficace des paramètres.
English
Mixture-of-Experts (MoE) has become a prominent paradigm for scaling Large Language Models (LLMs). Parameter-efficient fine-tuning (PEFT), such as LoRA, is widely adopted to adapt pretrained MoE LLMs to downstream tasks. However, existing approaches assign identical LoRA ranks to all experts, overlooking the intrinsic functional specialization within MoE LLMs. This uniform allocation leads to resource mismatch, task-relevant experts are under-provisioned while less relevant ones receive redundant parameters. We propose a Dynamic Rank LoRA framework named DR-LoRA, which dynamically grows expert LoRA ranks during fine-tuning based on task-specific demands. DR-LoRA employs an Expert Saliency Scoring mechanism that integrates expert routing frequency and LoRA rank importance to quantify each expert's demand for additional capacity. Experts with higher saliency scores are prioritized for rank expansion, enabling the automatic formation of a heterogeneous rank distribution tailored to the target task. Experiments on multiple benchmarks demonstrate that DR-LoRA consistently outperforms standard LoRA and static allocation strategies under the same parameter budget, achieving superior task performance with more efficient parameter utilization.