MatryoshkaLoRA: LLM 미세 조정을 위한 정확한 계층적 저랭크 표현 학습

초록

딥러닝 모델의 규모가 수십억 개의 매개변수로 증가함에 따라, 미세 조정의 계산 비용은 여전히 배포에 큰 장벽으로 남아 있다. 저랭크 적응(LoRA)이 매개변수 효율적 미세 조정의 표준이 되었지만, 사전 정의된 고정 랭크 r을 설정해야 하므로 효율성과 성능 간의 균형을 맞추기 위해 철저한 그리드 탐색이 필요하다. DyLoRA와 같은 기존의 랭크 적응형 해법은 훈련 중 사전 정의된 분포에서 랭크를 샘플링함으로써 이 문제를 완화한다. 그러나 이 방법들은 전체 랭크 계층 전반에 걸쳐 일관된 경사 신호가 부족하여 고차 랭크에서 최적 이하의 결과를 초래하는 경우가 많으며, 따라서 데이터 비효율적이다. 본 논문에서는 기존 LoRA 어댑터 사이에 고정되고 정교하게 설계된 대각 행렬 P를 삽입하여 서브랭크를 적절히 조정함으로써 정확한 계층적 저순위 표현을 학습하는, 마트료시카에서 영감을 받은 일반적인 LoRA 훈련 프레임워크인 MatryoshkaLoRA를 제안한다. 이 간단한 수정을 도입함으로써, 우리의 일반 프레임워크는 P만 변경하여 LoRA와 DyLoRA를 복원하며, 모든 서브랭크가 사용 가능한 경사 정보를 효율적으로 포함하도록 보장한다. MatryoshkaLoRA는 정확도 저하를 최소화하면서 동적 랭크 선택을 지원한다. 또한, 계층적 저순위 어댑터의 성능을 일관되게 평가하는 지표인 순위 정확도 곡선 아래 면적(AURAC)을 제안한다. 실험 결과는 MatryoshkaLoRA가 기존의 랭크 적응형 접근법보다 더 정확한 계층적 저순위 표현을 학습하며, 평가된 데이터셋 전반에 걸쳐 랭크별로 우수한 정확도-성능 절충을 달성함을 보여준다. 코드는 https://github.com/IST-DASLab/MatryoshkaLoRA에서 확인할 수 있다.

English

With the rise in scale for deep learning models to billions of parameters, the computational cost of fine-tuning remains a significant barrier to deployment. While Low-Rank Adaptation (LoRA) has become the standard for parameter-efficient fine-tuning, the need to set a predefined, static rank r requires exhaustive grid searches to balance efficiency and performance. Existing rank-adaptive solutions such as DyLoRA mitigate this by sampling ranks during the training from a predefined distribution. However, they often yield sub-optimal results at higher ranks due to lack of consistent gradient signals across the full hierarchy of ranks, thus making these methods data-inefficient. In this paper, we propose MatryoshkaLoRA, a general, Matryoshka-inspired training framework for LoRA that learns accurate hierarchical low-rank representations by inserting a fixed, carefully crafted diagonal matrix P between the existing LoRA adapters to scale their sub-ranks accordingly. By introducing this simple modification, our general framework recovers LoRA and DyLoRA only by changing P and ensures all sub-ranks embed the available gradient information efficiently. Our MatryoshkaLoRA supports dynamic rank selection with minimal degradation in accuracy. We further propose Area Under the Rank Accuracy Curve (AURAC), a metric that consistently evaluates the performance of hierarchical low-rank adapters. Our results demonstrate that MatryoshkaLoRA learns more accurate hierarchical low-rank representations than prior rank-adaptive approaches and achieves superior accuracy-performance trade-offs across ranks on the evaluated datasets. Our code is available at https://github.com/IST-DASLab/MatryoshkaLoRA.