VeLoRA: Обучение с памятью эффективное использование проекций подтокенов ранга 1

VeLoRA: Memory Efficient Training using Rank-1 Sub-Token Projections

May 28, 2024

Авторы: Roy Miles, Pradyumna Reddy, Ismail Elezi, Jiankang Deng

cs.AI

Аннотация

Большие языковые модели (LLM) недавно стали мощными инструментами для решения многих задач обработки языка. Несмотря на их успех, обучение и настройка этих моделей по-прежнему требуют слишком много вычислительных ресурсов и памяти. В данной статье мы выявляем и характеризуем важные компоненты, необходимые для эффективной сходимости модели с использованием градиентного спуска. При этом мы обнаружили, что промежуточные активации, используемые для реализации обратного распространения ошибки, могут быть избыточно сжаты без ухудшения производительности. Этот результат приводит нас к дешевому и эффективному с точки зрения памяти алгоритму как для настройки, так и для предварительного обучения LLM. Предложенный алгоритм просто разделяет токены на более мелкие подтокены перед их проецированием на фиксированное одномерное подпространство во время прямого прохода. Затем эти признаки грубо восстанавливаются во время обратного прохода для реализации правил обновления. Мы подтверждаем эффективность нашего алгоритма как дополнительного к многим передовым методам PEFT на тесте настройки VTAB-1k. Более того, мы превосходим QLoRA для настройки LLaMA и демонстрируем конкурентоспособную производительность по сравнению с другими методами память-эффективного предварительного обучения на масштабном наборе данных C4.

English

Large language models (LLMs) have recently emerged as powerful tools for tackling many language-processing tasks. Despite their success, training and fine-tuning these models is still far too computationally and memory intensive. In this paper, we identify and characterise the important components needed for effective model convergence using gradient descent. In doing so we find that the intermediate activations used to implement backpropagation can be excessively compressed without incurring any degradation in performance. This result leads us to a cheap and memory-efficient algorithm for both fine-tuning and pre-training LLMs. The proposed algorithm simply divides the tokens up into smaller sub-tokens before projecting them onto a fixed 1-dimensional subspace during the forward pass. These features are then coarsely reconstructed during the backward pass to implement the update rules. We confirm the effectiveness of our algorithm as being complimentary to many state-of-the-art PEFT methods on the VTAB-1k fine-tuning benchmark. Furthermore, we outperform QLoRA for fine-tuning LLaMA and show competitive performance against other memory-efficient pre-training methods on the large-scale C4 dataset.