MatryoshkaLoRA: Aprendendo Representações Hierárquicas de Baixo Posto Precisas para o Ajuste Fino de LLMs

Resumo

Com o aumento da escala de modelos de aprendizado profundo para bilhões de parâmetros, o custo computacional do ajuste fino continua sendo uma barreira significativa para a implantação. Embora a Adaptação de Baixo Posto (LoRA) tenha se tornado o padrão para ajuste fino eficiente em parâmetros, a necessidade de definir um posto estático e pré-determinado *r* exige buscas exaustivas em grade para equilibrar eficiência e desempenho. Soluções adaptativas de posto existentes, como a DyLoRA, mitigam esse problema amostrando postos durante o treinamento a partir de uma distribuição pré-definida. No entanto, frequentemente produzem resultados subótimos em postos mais altos devido à falta de sinais de gradiente consistentes em toda a hierarquia de postos, tornando esses métodos ineficientes em dados. Neste artigo, propomos o MatryoshkaLoRA, uma estrutura de treinamento geral inspirada na Matryoshka para o LoRA que aprende representações hierárquicas precisas de baixo posto ao inserir uma matriz diagonal fixa e cuidadosamente elaborada **P** entre os adaptadores LoRA existentes para escalar seus subpostos adequadamente. Ao introduzir essa modificação simples, nossa estrutura geral recupera o LoRA e o DyLoRA apenas alterando **P** e garante que todos os subpostos incorporem eficientemente a informação de gradiente disponível. Nosso MatryoshkaLoRA suporta seleção dinâmica de posto com degradação mínima na precisão. Propomos ainda a Área sob a Curva de Precisão por Posto (AURAC), uma métrica que avalia consistentemente o desempenho de adaptadores hierárquicos de baixo posto. Nossos resultados demonstram que o MatryoshkaLoRA aprende representações hierárquicas de baixo posto mais precisas do que abordagens adaptativas de posto anteriores e alcança compensações superiores entre precisão e desempenho entre postos nos conjuntos de dados avaliados. Nosso código está disponível em https://github.com/IST-DASLab/MatryoshkaLoRA.

English

With the rise in scale for deep learning models to billions of parameters, the computational cost of fine-tuning remains a significant barrier to deployment. While Low-Rank Adaptation (LoRA) has become the standard for parameter-efficient fine-tuning, the need to set a predefined, static rank r requires exhaustive grid searches to balance efficiency and performance. Existing rank-adaptive solutions such as DyLoRA mitigate this by sampling ranks during the training from a predefined distribution. However, they often yield sub-optimal results at higher ranks due to lack of consistent gradient signals across the full hierarchy of ranks, thus making these methods data-inefficient. In this paper, we propose MatryoshkaLoRA, a general, Matryoshka-inspired training framework for LoRA that learns accurate hierarchical low-rank representations by inserting a fixed, carefully crafted diagonal matrix P between the existing LoRA adapters to scale their sub-ranks accordingly. By introducing this simple modification, our general framework recovers LoRA and DyLoRA only by changing P and ensures all sub-ranks embed the available gradient information efficiently. Our MatryoshkaLoRA supports dynamic rank selection with minimal degradation in accuracy. We further propose Area Under the Rank Accuracy Curve (AURAC), a metric that consistently evaluates the performance of hierarchical low-rank adapters. Our results demonstrate that MatryoshkaLoRA learns more accurate hierarchical low-rank representations than prior rank-adaptive approaches and achieves superior accuracy-performance trade-offs across ranks on the evaluated datasets. Our code is available at https://github.com/IST-DASLab/MatryoshkaLoRA.