DR-LoRA: LoRA de Rango Dinámico para la Adaptación de Mezcla de Expertos
DR-LoRA: Dynamic Rank LoRA for Mixture-of-Experts Adaptation
January 8, 2026
Autores: Guanzhi Deng, Bo Li, Ronghao Chen, Huacan Wang, Linqi Song, Lijie Wen
cs.AI
Resumen
La Mezcla de Expertos (MoE) se ha convertido en un paradigma prominente para escalar Modelos de Lenguaje a Gran Escala (LLMs). El ajuste fino eficiente en parámetros (PEFT), como LoRA, es ampliamente adoptado para adaptar los LLMs de MoE preentrenados a tareas específicas. Sin embargo, los enfoques existentes asignan el mismo rango de LoRA a todos los expertos, pasando por alto la especialización funcional intrínseca dentro de los LLMs de MoE. Esta asignación uniforme genera una desalineación de recursos: los expertos relevantes para la tarea reciben capacidad insuficiente, mientras que los menos relevantes obtienen parámetros redundantes. Proponemos un marco de LoRA de Rango Dinámico llamado DR-LoRA, que incrementa dinámicamente el rango de LoRA de los expertos durante el ajuste fino basándose en las demandas específicas de la tarea. DR-LoRA emplea un mecanismo de Puntuación de Relevancia del Experto que integra la frecuencia de enrutamiento del experto y la importancia del rango de LoRA para cuantificar la demanda de capacidad adicional de cada experto. Los expertos con puntuaciones de relevancia más altas son priorizados para la expansión de rango, permitiendo la formación automática de una distribución de rangos heterogénea adaptada a la tarea objetivo. Experimentos en múltiples benchmarks demuestran que DR-LoRA supera consistentemente a LoRA estándar y a las estrategias de asignación estática bajo el mismo presupuesto de parámetros, logrando un rendimiento superior en la tarea con una utilización de parámetros más eficiente.
English
Mixture-of-Experts (MoE) has become a prominent paradigm for scaling Large Language Models (LLMs). Parameter-efficient fine-tuning (PEFT), such as LoRA, is widely adopted to adapt pretrained MoE LLMs to downstream tasks. However, existing approaches assign identical LoRA ranks to all experts, overlooking the intrinsic functional specialization within MoE LLMs. This uniform allocation leads to resource mismatch, task-relevant experts are under-provisioned while less relevant ones receive redundant parameters. We propose a Dynamic Rank LoRA framework named DR-LoRA, which dynamically grows expert LoRA ranks during fine-tuning based on task-specific demands. DR-LoRA employs an Expert Saliency Scoring mechanism that integrates expert routing frequency and LoRA rank importance to quantify each expert's demand for additional capacity. Experts with higher saliency scores are prioritized for rank expansion, enabling the automatic formation of a heterogeneous rank distribution tailored to the target task. Experiments on multiple benchmarks demonstrate that DR-LoRA consistently outperforms standard LoRA and static allocation strategies under the same parameter budget, achieving superior task performance with more efficient parameter utilization.