Tied-LoRA: 重み共有によるLoRAのパラメータ効率の向上

Tied-Lora: Enhacing parameter efficiency of LoRA with weight tying

November 16, 2023

著者: Adithya Renduchintala, Tugrul Konuk, Oleksii Kuchaiev

cs.AI

要旨

本研究では、Low-rank adaptation（LoRA）手法のパラメータ効率をさらに向上させるため、重み共有と選択的学習を活用したシンプルなパラダイム「Tied-LoRA」を提案する。我々の調査では、重み共有と組み合わせたすべての可能なパラメータ学習/凍結の組み合わせを検証し、性能と学習可能なパラメータ数の最適なバランスを特定した。複数のタスクと2つの基盤言語モデルを対象とした実験を通じて、効率性と性能のトレードオフを明らかにする分析を提供する。実験の結果、標準的なLoRA手法が使用するパラメータのわずか13％しか使用しないにもかかわらず、複数のタスクにおいて同等の性能を発揮する特定のTied-LoRA構成が明らかになった。

English

We propose Tied-LoRA, a simple paradigm utilizes weight tying and selective training to further increase parameter efficiency of the Low-rank adaptation (LoRA) method. Our investigations include all feasible combinations parameter training/freezing in conjunction with weight tying to identify the optimal balance between performance and the number of trainable parameters. Through experiments covering a variety of tasks and two base language models, we provide analysis revealing trade-offs between efficiency and performance. Our experiments uncovered a particular Tied-LoRA configuration that stands out by demonstrating comparable performance across several tasks while employing only 13~\% percent of parameters utilized by the standard LoRA method.