Tied-LoRA: Повышение параметрической эффективности LoRA за счет связывания весов

Tied-Lora: Enhacing parameter efficiency of LoRA with weight tying

November 16, 2023

Авторы: Adithya Renduchintala, Tugrul Konuk, Oleksii Kuchaiev

cs.AI

Аннотация

Мы предлагаем Tied-LoRA — простую парадигму, которая использует связывание весов и выборочное обучение для дальнейшего повышения параметрической эффективности метода низкоранговой адаптации (LoRA). Наши исследования охватывают все возможные комбинации обучения/замораживания параметров в сочетании со связыванием весов для определения оптимального баланса между производительностью и количеством обучаемых параметров. В ходе экспериментов, охватывающих различные задачи и две базовые языковые модели, мы проводим анализ, выявляющий компромиссы между эффективностью и производительностью. Наши эксперименты выявили конкретную конфигурацию Tied-LoRA, которая выделяется, демонстрируя сопоставимую производительность в нескольких задачах при использовании всего 13\% параметров, задействованных в стандартном методе LoRA.

English

We propose Tied-LoRA, a simple paradigm utilizes weight tying and selective training to further increase parameter efficiency of the Low-rank adaptation (LoRA) method. Our investigations include all feasible combinations parameter training/freezing in conjunction with weight tying to identify the optimal balance between performance and the number of trainable parameters. Through experiments covering a variety of tasks and two base language models, we provide analysis revealing trade-offs between efficiency and performance. Our experiments uncovered a particular Tied-LoRA configuration that stands out by demonstrating comparable performance across several tasks while employing only 13~\% percent of parameters utilized by the standard LoRA method.