Tied-LoRA: 가중치 연결을 통해 LoRA의 파라미터 효율성 향상

초록

본 논문에서는 Low-rank adaptation(LoRA) 방법의 파라미터 효율성을 더욱 향상시키기 위해 가중치 공유(weight tying)와 선택적 학습(selective training)을 활용한 간단한 패러다임인 Tied-LoRA를 제안한다. 우리는 성능과 학습 가능한 파라미터 수 사이의 최적의 균형을 찾기 위해 가중치 공유와 결합된 모든 가능한 파라미터 학습/고정 조합을 조사하였다. 다양한 작업과 두 가지 기본 언어 모델을 포함한 실험을 통해, 우리는 효율성과 성능 간의 상충 관계를 분석하였다. 실험 결과, 표준 LoRA 방법이 사용하는 파라미터의 약 13%만을 사용하면서도 여러 작업에서 비슷한 성능을 보이는 특정 Tied-LoRA 구성이 두드러지게 나타났다.

English

We propose Tied-LoRA, a simple paradigm utilizes weight tying and selective training to further increase parameter efficiency of the Low-rank adaptation (LoRA) method. Our investigations include all feasible combinations parameter training/freezing in conjunction with weight tying to identify the optimal balance between performance and the number of trainable parameters. Through experiments covering a variety of tasks and two base language models, we provide analysis revealing trade-offs between efficiency and performance. Our experiments uncovered a particular Tied-LoRA configuration that stands out by demonstrating comparable performance across several tasks while employing only 13~\% percent of parameters utilized by the standard LoRA method.

Tied-LoRA: 가중치 연결을 통해 LoRA의 파라미터 효율성 향상

Tied-Lora: Enhacing parameter efficiency of LoRA with weight tying

초록

Support