MatryoshkaLoRA: Aprendizaje de Representaciones Jerárquicas de Bajo Rango Precisas para el Ajuste Fino de Modelos de Lenguaje Grandes
MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning
May 8, 2026
Autores: Ionut-Vlad Modoranu, Mher Safaryan, Dan Alistarh
cs.AI
Resumen
Con el aumento en la escala de los modelos de aprendizaje profundo a miles de millones de parámetros, el costo computacional del ajuste fino sigue siendo una barrera significativa para su implementación. Aunque la Adaptación de Bajo Rango (LoRA) se ha convertido en el estándar para el ajuste fino eficiente en parámetros, la necesidad de establecer un rango estático predefinido \( r \) requiere búsquedas exhaustivas en cuadrícula para equilibrar eficiencia y rendimiento. Soluciones existentes adaptativas al rango, como DyLoRA, mitigan esto muestreando rangos durante el entrenamiento a partir de una distribución predefinida. Sin embargo, a menudo producen resultados subóptimos en rangos más altos debido a la falta de señales de gradiente consistentes a lo largo de la jerarquía completa de rangos, lo que hace que estos métodos sean ineficientes en términos de datos. En este artículo, proponemos MatryoshkaLoRA, un marco de entrenamiento general inspirado en Matryoshka para LoRA que aprende representaciones jerárquicas de bajo rango precisas mediante la inserción de una matriz diagonal \( P \) cuidadosamente diseñada entre los adaptadores existentes de LoRA para escalar sus subrangos correspondientes. Al introducir esta modificación simple, nuestro marco general recupera LoRA y DyLoRA simplemente cambiando \( P \) y garantiza que todos los subrangos incorporen eficientemente la información del gradiente disponible. Nuestro MatryoshkaLoRA admite selección dinámica de rangos con una degradación mínima en precisión. Además, proponemos el Área Bajo la Curva de Precisión por Rango (AURAC), una métrica que evalúa consistentemente el rendimiento de los adaptadores jerárquicos de bajo rango. Nuestros resultados demuestran que MatryoshkaLoRA aprende representaciones jerárquicas de bajo rango más precisas que los enfoques adaptativos al rango anteriores y logra mejores compensaciones entre precisión y rendimiento en los rangos evaluados en los conjuntos de datos. Nuestro código está disponible en https://github.com/IST-DASLab/MatryoshkaLoRA.
English
With the rise in scale for deep learning models to billions of parameters, the computational cost of fine-tuning remains a significant barrier to deployment. While Low-Rank Adaptation (LoRA) has become the standard for parameter-efficient fine-tuning, the need to set a predefined, static rank r requires exhaustive grid searches to balance efficiency and performance. Existing rank-adaptive solutions such as DyLoRA mitigate this by sampling ranks during the training from a predefined distribution. However, they often yield sub-optimal results at higher ranks due to lack of consistent gradient signals across the full hierarchy of ranks, thus making these methods data-inefficient. In this paper, we propose MatryoshkaLoRA, a general, Matryoshka-inspired training framework for LoRA that learns accurate hierarchical low-rank representations by inserting a fixed, carefully crafted diagonal matrix P between the existing LoRA adapters to scale their sub-ranks accordingly. By introducing this simple modification, our general framework recovers LoRA and DyLoRA only by changing P and ensures all sub-ranks embed the available gradient information efficiently. Our MatryoshkaLoRA supports dynamic rank selection with minimal degradation in accuracy. We further propose Area Under the Rank Accuracy Curve (AURAC), a metric that consistently evaluates the performance of hierarchical low-rank adapters. Our results demonstrate that MatryoshkaLoRA learns more accurate hierarchical low-rank representations than prior rank-adaptive approaches and achieves superior accuracy-performance trade-offs across ranks on the evaluated datasets. Our code is available at https://github.com/IST-DASLab/MatryoshkaLoRA.