DR-LoRA：混合专家適応のための動的ランクLoRA

要旨

Mixture-of-Experts (MoE) は、大規模言語モデル (LLM) のスケーリングにおける主要なパラダイムとなっている。LoRAのようなパラメータ効率の良いファインチューニング (PEFT) は、事前学習済みMoE LLMを下流タスクに適応させるために広く採用されている。しかし、既存のアプローチでは全てのエキスパートに同一のLoRAランクを割り当てており、MoE LLM内に内在する機能的特化を見過ごしている。この均一な割り当てはリソースのミスマッチを引き起こし、タスク関連性の高いエキスパートはリソース不足に陥る一方、関連性の低いエキスパートには冗長なパラメータが割り当てられる。本研究では、DR-LoRAと名付けた動的ランクLoRAフレームワークを提案する。これは、タスク固有の要求に基づいてファインチューニング中にエキスパートのLoRAランクを動的に増加させる。DR-LoRAは、エキスパートのルーティング頻度とLoRAランクの重要度を統合したエキスパート重要性スコアリング機構を採用し、各エキスパートの追加容量需要を定量化する。重要性スコアが高いエキスパートはランク拡張が優先され、対象タスクに合わせた異種混合のランク分布が自動的に形成される。複数のベンチマークによる実験により、DR-LoRAが同一のパラメータ予算下で、標準的なLoRAおよび静的な割り当て戦略を一貫して上回り、より効率的なパラメータ利用により優れたタスク性能を達成することを実証する。

English

Mixture-of-Experts (MoE) has become a prominent paradigm for scaling Large Language Models (LLMs). Parameter-efficient fine-tuning (PEFT), such as LoRA, is widely adopted to adapt pretrained MoE LLMs to downstream tasks. However, existing approaches assign identical LoRA ranks to all experts, overlooking the intrinsic functional specialization within MoE LLMs. This uniform allocation leads to resource mismatch, task-relevant experts are under-provisioned while less relevant ones receive redundant parameters. We propose a Dynamic Rank LoRA framework named DR-LoRA, which dynamically grows expert LoRA ranks during fine-tuning based on task-specific demands. DR-LoRA employs an Expert Saliency Scoring mechanism that integrates expert routing frequency and LoRA rank importance to quantify each expert's demand for additional capacity. Experts with higher saliency scores are prioritized for rank expansion, enabling the automatic formation of a heterogeneous rank distribution tailored to the target task. Experiments on multiple benchmarks demonstrate that DR-LoRA consistently outperforms standard LoRA and static allocation strategies under the same parameter budget, achieving superior task performance with more efficient parameter utilization.

DR-LoRA：混合专家適応のための動的ランクLoRA

DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation

要旨

Support