MatryoshkaLoRA: Обучение точным иерархическим низкоранговым представлениям для тонкой настройки больших языковых моделей
MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning
May 8, 2026
Авторы: Ionut-Vlad Modoranu, Mher Safaryan, Dan Alistarh
cs.AI
Аннотация
С ростом масштаба моделей глубокого обучения до миллиардов параметров вычислительная стоимость тонкой настройки остается существенным препятствием для их развертывания. Хотя Адаптация низкого ранга (LoRA) стала стандартом для эффективной по параметрам тонкой настройки, необходимость задания предопределенного статического ранга r требует исчерпывающего поиска по сетке для балансирования эффективности и производительности. Существующие адаптивные по рангу решения, такие как DyLoRA, смягчают эту проблему путем выборки рангов во время обучения из предопределенного распределения. Однако они часто дают субоптимальные результаты на более высоких рангах из-за отсутствия согласованных градиентных сигналов по всей иерархии рангов, что делает эти методы неэффективными по данным. В данной статье мы предлагаем MatryoshkaLoRA — общий, вдохновленный матрешкой фреймворк обучения для LoRA, который изучает точные иерархические представления низкого ранга путем вставки фиксированной, тщательно разработанной диагональной матрицы P между существующими адаптерами LoRA для соответствующего масштабирования их подрангов. Внося эту простую модификацию, наш общий фреймворк восстанавливает LoRA и DyLoRA только изменением P и гарантирует, что все подранги эффективно встраивают доступную градиентную информацию. Наш MatryoshkaLoRA поддерживает динамический выбор ранга с минимальным ухудшением точности. Мы также предлагаем метрику Площадь под кривой точности рангов (AURAC), которая последовательно оценивает производительность иерархических адаптеров низкого ранга. Наши результаты показывают, что MatryoshkaLoRA изучает более точные иерархические представления низкого ранга, чем предыдущие адаптивные по рангу подходы, и достигает превосходных компромиссов между точностью и производительностью по всем рангам на оцененных наборах данных. Наш код доступен по адресу https://github.com/IST-DASLab/MatryoshkaLoRA.
English
With the rise in scale for deep learning models to billions of parameters, the computational cost of fine-tuning remains a significant barrier to deployment. While Low-Rank Adaptation (LoRA) has become the standard for parameter-efficient fine-tuning, the need to set a predefined, static rank r requires exhaustive grid searches to balance efficiency and performance. Existing rank-adaptive solutions such as DyLoRA mitigate this by sampling ranks during the training from a predefined distribution. However, they often yield sub-optimal results at higher ranks due to lack of consistent gradient signals across the full hierarchy of ranks, thus making these methods data-inefficient. In this paper, we propose MatryoshkaLoRA, a general, Matryoshka-inspired training framework for LoRA that learns accurate hierarchical low-rank representations by inserting a fixed, carefully crafted diagonal matrix P between the existing LoRA adapters to scale their sub-ranks accordingly. By introducing this simple modification, our general framework recovers LoRA and DyLoRA only by changing P and ensures all sub-ranks embed the available gradient information efficiently. Our MatryoshkaLoRA supports dynamic rank selection with minimal degradation in accuracy. We further propose Area Under the Rank Accuracy Curve (AURAC), a metric that consistently evaluates the performance of hierarchical low-rank adapters. Our results demonstrate that MatryoshkaLoRA learns more accurate hierarchical low-rank representations than prior rank-adaptive approaches and achieves superior accuracy-performance trade-offs across ranks on the evaluated datasets. Our code is available at https://github.com/IST-DASLab/MatryoshkaLoRA.