E^2-LLM: Extensión Eficiente y Extrema de la Longitud en Modelos de Lenguaje a Gran Escala

Resumen

Típicamente, entrenar modelos de lenguaje grandes (LLMs) con tamaños de contexto extensos es computacionalmente costoso, requiriendo horas de entrenamiento extensas y recursos significativos de GPU. Los métodos existentes de extensión de contexto largo generalmente necesitan procedimientos de entrenamiento adicionales para soportar ventanas de contexto largo correspondientes, donde se requieren datos de entrenamiento de contexto largo (por ejemplo, 32k) y se asumen altos costos de entrenamiento en GPU. Para abordar los problemas mencionados, proponemos un método de extensión de longitud Eficiente y Extremo para Modelos de Lenguaje Grandes, llamado E²-LLM, con solo un procedimiento de entrenamiento y un costo de computación drásticamente reducido, que también elimina la necesidad de recopilar datos de contexto largo. Concretamente, primero, los datos de entrenamiento de nuestro E²-LLM solo requieren una longitud corta (por ejemplo, 4k), lo que reduce enormemente el costo de ajuste. Segundo, el procedimiento de entrenamiento en la ventana de contexto de entrenamiento corto se realiza solo una vez, y podemos soportar diferentes ventanas de contexto de evaluación en la inferencia. Tercero, en E²-LLM, basado en los embeddings de posición RoPE, introducimos dos métodos diferentes de aumento en los parámetros de escala e índice de posición para diferentes muestras en el entrenamiento. Esto tiene como objetivo hacer que el modelo sea más robusto a las diferentes diferencias relativas al interpolar directamente la longitud de contexto arbitraria en la inferencia. Los resultados experimentales exhaustivos en múltiples conjuntos de datos de referencia demuestran la efectividad de nuestro E²-LLM en tareas desafiantes de contexto largo.

English

Typically, training LLMs with long context sizes is computationally expensive, requiring extensive training hours and GPU resources. Existing long-context extension methods usually need additional training procedures to support corresponding long-context windows, where the long-context training data (e.g., 32k) is needed, and high GPU training costs are assumed. To address the aforementioned issues, we propose an Efficient and Extreme length extension method for Large Language Models, called E 2 -LLM, with only one training procedure and dramatically reduced computation cost, which also removes the need to collect long-context data. Concretely, first, the training data of our E 2 -LLM only requires a short length (e.g., 4k), which reduces the tuning cost greatly. Second, the training procedure on the short training context window is performed only once time, and we can support different evaluation context windows at inference. Third, in E 2 - LLM, based on RoPE position embeddings, we introduce two different augmentation methods on the scale and position index parameters for different samples in training. It aims to make the model more robust to the different relative differences when directly interpolating the arbitrary context length at inference. Comprehensive experimental results on multiple benchmark datasets demonstrate the effectiveness of our E 2 -LLM on challenging long-context tasks.

E^2-LLM: Extensión Eficiente y Extrema de la Longitud en Modelos de Lenguaje a Gran Escala

E^2-LLM: Efficient and Extreme Length Extension of Large Language Models

Resumen

Support