MoRA: Обновление высокого ранга для эффективного донастройки параметров.

MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning

May 20, 2024

Авторы: Ting Jiang, Shaohan Huang, Shengyue Luo, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang, Deqing Wang, Fuzhen Zhuang

cs.AI

Аннотация

Адаптация низкого ранга является популярным методом эффективной настройки параметров для больших языковых моделей. В данной статье мы анализируем влияние низкорангового обновления, реализованного в LoRA. Наши результаты показывают, что механизм низкорангового обновления может ограничивать способность LLMs эффективно учиться и запоминать новые знания. Вдохновленные этим наблюдением, мы предлагаем новый метод под названием MoRA, который использует квадратную матрицу для достижения обновления высокого ранга при сохранении того же количества обучаемых параметров. Для этого мы вводим соответствующие непараметрические операторы для уменьшения размерности входа и увеличения размерности выхода для квадратной матрицы. Более того, эти операторы обеспечивают возможность объединения весов обратно в LLMs, что позволяет нашему методу быть развернутым, как LoRA. Мы проводим всестороннюю оценку нашего метода на пяти задачах: настройка инструкций, математическое рассуждение, непрерывное предварительное обучение, память и предварительное обучение. Наш метод превосходит LoRA на задачах с высоким объемом памяти и достигает сопоставимой производительности на других задачах.

English

Low-rank adaptation is a popular parameter-efficient fine-tuning method for large language models. In this paper, we analyze the impact of low-rank updating, as implemented in LoRA. Our findings suggest that the low-rank updating mechanism may limit the ability of LLMs to effectively learn and memorize new knowledge. Inspired by this observation, we propose a new method called MoRA, which employs a square matrix to achieve high-rank updating while maintaining the same number of trainable parameters. To achieve it, we introduce the corresponding non-parameter operators to reduce the input dimension and increase the output dimension for the square matrix. Furthermore, these operators ensure that the weight can be merged back into LLMs, which makes our method can be deployed like LoRA. We perform a comprehensive evaluation of our method across five tasks: instruction tuning, mathematical reasoning, continual pretraining, memory and pretraining. Our method outperforms LoRA on memory-intensive tasks and achieves comparable performance on other tasks.