LongLoRA: Ajuste fino eficiente de modelos de lenguaje de gran escala con contexto extenso

Resumen

Presentamos LongLoRA, un enfoque eficiente de ajuste fino que extiende los tamaños de contexto de los modelos de lenguaje grandes (LLMs) preentrenados, con un coste computacional limitado. Normalmente, entrenar LLMs con tamaños de contexto largos es computacionalmente costoso, requiriendo horas extensas de entrenamiento y recursos de GPU. Por ejemplo, entrenar con un contexto de longitud 8192 necesita 16 veces más costes computacionales en las capas de auto-atención que con un contexto de 2048. En este artículo, aceleramos la extensión de contexto de los LLMs en dos aspectos. Por un lado, aunque se necesita atención global densa durante la inferencia, el ajuste fino del modelo puede realizarse de manera efectiva y eficiente mediante atención local dispersa. La atención corta por desplazamiento propuesta permite efectivamente la extensión del contexto, lo que conduce a un ahorro computacional no trivial con un rendimiento similar al ajuste fino con atención estándar. En particular, puede implementarse con solo dos líneas de código durante el entrenamiento, mientras que es opcional en la inferencia. Por otro lado, revisamos el régimen de ajuste fino eficiente en parámetros para la expansión de contexto. Notablemente, encontramos que LoRA para la extensión de contexto funciona bien bajo la premisa de embeddings y normalización entrenables. LongLoRA demuestra resultados empíricos sólidos en varias tareas en modelos LLaMA2 desde 7B/13B hasta 70B. LongLoRA adopta LLaMA2 7B desde un contexto de 4k a 100k, o LLaMA2 70B a 32k en una sola máquina con 8x A100. LongLoRA extiende el contexto de los modelos mientras mantiene sus arquitecturas originales, y es compatible con la mayoría de las técnicas existentes, como FlashAttention-2. Además, para hacer LongLoRA práctico, recopilamos un conjunto de datos, LongQA, para el ajuste fino supervisado. Contiene más de 3k pares de preguntas-respuestas de contexto largo.

English

We present LongLoRA, an efficient fine-tuning approach that extends the context sizes of pre-trained large language models (LLMs), with limited computation cost. Typically, training LLMs with long context sizes is computationally expensive, requiring extensive training hours and GPU resources. For example, training on the context length of 8192 needs 16x computational costs in self-attention layers as that of 2048. In this paper, we speed up the context extension of LLMs in two aspects. On the one hand, although dense global attention is needed during inference, fine-tuning the model can be effectively and efficiently done by sparse local attention. The proposed shift short attention effectively enables context extension, leading to non-trivial computation saving with similar performance to fine-tuning with vanilla attention. Particularly, it can be implemented with only two lines of code in training, while being optional in inference. On the other hand, we revisit the parameter-efficient fine-tuning regime for context expansion. Notably, we find that LoRA for context extension works well under the premise of trainable embedding and normalization. LongLoRA demonstrates strong empirical results on various tasks on LLaMA2 models from 7B/13B to 70B. LongLoRA adopts LLaMA2 7B from 4k context to 100k, or LLaMA2 70B to 32k on a single 8x A100 machine. LongLoRA extends models' context while retaining their original architectures, and is compatible with most existing techniques, like FlashAttention-2. In addition, to make LongLoRA practical, we collect a dataset, LongQA, for supervised fine-tuning. It contains more than 3k long context question-answer pairs.

LongLoRA: Ajuste fino eficiente de modelos de lenguaje de gran escala con contexto extenso

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

Resumen

Support