VeRA: Векторная адаптация случайных матриц

VeRA: Vector-based Random Matrix Adaptation

October 17, 2023

Авторы: Dawid Jan Kopiczko, Tijmen Blankevoort, Yuki Markus Asano

cs.AI

Аннотация

Низкоранговая адаптация (LoRA) — это популярный метод, который сокращает количество обучаемых параметров при тонкой настройке больших языковых моделей, но по-прежнему сталкивается с серьезными проблемами хранения при масштабировании до еще более крупных моделей или развертывании множества адаптированных моделей для каждого пользователя или задачи. В данной работе мы представляем Векторную адаптацию случайных матриц (VeRA), которая сокращает количество обучаемых параметров в 10 раз по сравнению с LoRA, сохраняя при этом ту же производительность. Это достигается за счет использования одной пары низкоранговых матриц, общих для всех слоев, и обучения небольших масштабирующих векторов. Мы демонстрируем ее эффективность на тестах GLUE и E2E, а также показываем ее применение в выполнении инструкций с использованием всего 1,4 млн параметров на модели Llama2 7B.

English

Low-rank adapation (LoRA) is a popular method that reduces the number of trainable parameters when finetuning large language models, but still faces acute storage challenges when scaling to even larger models or deploying numerous per-user or per-task adapted models. In this work, we present Vector-based Random Matrix Adaptation (VeRA), which reduces the number of trainable parameters by 10x compared to LoRA, yet maintains the same performance. It achieves this by using a single pair of low-rank matrices shared across all layers and learning small scaling vectors instead. We demonstrate its effectiveness on the GLUE and E2E benchmarks, and show its application in instruction-following with just 1.4M parameters using the Llama2 7B model.