LongLoRA: Эффективная тонкая настройка крупных языковых моделей с длинным контекстом
LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
September 21, 2023
Авторы: Yukang Chen, Shengju Qian, Haotian Tang, Xin Lai, Zhijian Liu, Song Han, Jiaya Jia
cs.AI
Аннотация
Мы представляем LongLoRA, эффективный подход тонкой настройки, который расширяет размеры контекста предварительно обученных больших языковых моделей (LLM) при ограниченных вычислительных затратах. Обычно обучение LLM с длинными контекстами требует значительных вычислительных ресурсов, включая длительное время обучения и использование GPU. Например, обучение с длиной контекста 8192 требует в 16 раз больше вычислительных затрат в слоях самовнимания по сравнению с длиной контекста 2048. В данной работе мы ускоряем расширение контекста LLM в двух аспектах. С одной стороны, хотя плотное глобальное внимание необходимо во время вывода, тонкую настройку модели можно эффективно и экономно выполнить с помощью разреженного локального внимания. Предложенное сдвиговое короткое внимание эффективно позволяет расширить контекст, что приводит к значительной экономии вычислений при сохранении производительности, сравнимой с тонкой настройкой с использованием стандартного внимания. В частности, его можно реализовать всего двумя строками кода во время обучения, при этом оно остается необязательным во время вывода. С другой стороны, мы пересматриваем режим параметрически эффективной тонкой настройки для расширения контекста. В частности, мы обнаруживаем, что LoRA для расширения контекста хорошо работает при условии обучаемых встраиваний и нормализации. LongLoRA демонстрирует убедительные эмпирические результаты на различных задачах для моделей LLaMA2 от 7B/13B до 70B. LongLoRA адаптирует LLaMA2 7B от контекста 4k до 100k или LLaMA2 70B до 32k на одной машине с 8x A100. LongLoRA расширяет контекст моделей, сохраняя их исходные архитектуры, и совместим с большинством существующих технологий, таких как FlashAttention-2. Кроме того, чтобы сделать LongLoRA практичным, мы собрали набор данных LongQA для контролируемой тонкой настройки. Он содержит более 3k пар вопросов и ответов с длинным контекстом.
English
We present LongLoRA, an efficient fine-tuning approach that extends the
context sizes of pre-trained large language models (LLMs), with limited
computation cost. Typically, training LLMs with long context sizes is
computationally expensive, requiring extensive training hours and GPU
resources. For example, training on the context length of 8192 needs 16x
computational costs in self-attention layers as that of 2048. In this paper, we
speed up the context extension of LLMs in two aspects. On the one hand,
although dense global attention is needed during inference, fine-tuning the
model can be effectively and efficiently done by sparse local attention. The
proposed shift short attention effectively enables context extension, leading
to non-trivial computation saving with similar performance to fine-tuning with
vanilla attention. Particularly, it can be implemented with only two lines of
code in training, while being optional in inference. On the other hand, we
revisit the parameter-efficient fine-tuning regime for context expansion.
Notably, we find that LoRA for context extension works well under the premise
of trainable embedding and normalization. LongLoRA demonstrates strong
empirical results on various tasks on LLaMA2 models from 7B/13B to 70B.
LongLoRA adopts LLaMA2 7B from 4k context to 100k, or LLaMA2 70B to 32k on a
single 8x A100 machine. LongLoRA extends models' context while retaining their
original architectures, and is compatible with most existing techniques, like
FlashAttention-2. In addition, to make LongLoRA practical, we collect a
dataset, LongQA, for supervised fine-tuning. It contains more than 3k long
context question-answer pairs.