DR-LoRA: Dynamic Rank LoRA für die Mixture-of-Experts-Adaption
DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation
January 8, 2026
papers.authors: Guanzhi Deng, Bo Li, Ronghao Chen, Huacan Wang, Linqi Song, Lijie Wen
cs.AI
papers.abstract
Mixture-of-Experts (MoE) hat sich zu einem bedeutenden Paradigma für die Skalierung von Large Language Models (LLMs) entwickelt. Parameter-effizientes Fine-Tuning (PEFT), wie beispielsweise LoRA, wird häufig eingesetzt, um vortrainierte MoE-LLMs für nachgelagerte Aufgaben anzupassen. Bisherige Ansätze weisen jedoch allen Experten identische LoRA-Ränge zu und übersehen dabei die intrinsische funktionale Spezialisierung innerhalb von MoE-LLMs. Diese gleichmäßige Zuweisung führt zu einer Fehlallokation von Ressourcen: aufgabenspezifisch relevante Experten werden unterversorgt, während weniger relevante Experten redundante Parameter erhalten. Wir schlagen ein Framework namens DR-LoRA (Dynamic Rank LoRA) vor, das die LoRA-Ränge der Experten während des Fine-Tunings dynamisch auf der Grundlage aufgabenspezifischer Anforderungen erhöht. DR-LoRA verwendet einen Expert Saliency Scoring-Mechanismus, der die Routing-Häufigkeit der Experten und die Bedeutung ihrer LoRA-Ränge integriert, um den Bedarf jedes Experten an zusätzlicher Kapazität zu quantifizieren. Experten mit höheren Saliency-Scores werden bei der Rang-Erweiterung priorisiert, was die automatische Bildung einer heterogenen Rangverteilung ermöglicht, die auf die Zielaufgabe zugeschnitten ist. Experimente auf mehreren Benchmarks zeigen, dass DR-LoRA unter gleichem Parameterbudget durchweg Standard-LoRA und statischen Allokationsstrategien überlegen ist und eine bessere Aufgabenleistung bei effizienterer Parameternutzung erzielt.
English
Mixture-of-Experts (MoE) has become a prominent paradigm for scaling Large Language Models (LLMs). Parameter-efficient fine-tuning (PEFT), such as LoRA, is widely adopted to adapt pretrained MoE LLMs to downstream tasks. However, existing approaches assign identical LoRA ranks to all experts, overlooking the intrinsic functional specialization within MoE LLMs. This uniform allocation leads to resource mismatch, task-relevant experts are under-provisioned while less relevant ones receive redundant parameters. We propose a Dynamic Rank LoRA framework named DR-LoRA, which dynamically grows expert LoRA ranks during fine-tuning based on task-specific demands. DR-LoRA employs an Expert Saliency Scoring mechanism that integrates expert routing frequency and LoRA rank importance to quantify each expert's demand for additional capacity. Experts with higher saliency scores are prioritized for rank expansion, enabling the automatic formation of a heterogeneous rank distribution tailored to the target task. Experiments on multiple benchmarks demonstrate that DR-LoRA consistently outperforms standard LoRA and static allocation strategies under the same parameter budget, achieving superior task performance with more efficient parameter utilization.