E^2-LLM: Extensão Eficiente e Extrema de Comprimento em Modelos de Linguagem de Grande Escala

Resumo

Tipicamente, o treinamento de LLMs com tamanhos de contexto longos é computacionalmente caro, exigindo horas extensas de treinamento e recursos de GPU. Os métodos existentes de extensão de contexto longo geralmente precisam de procedimentos adicionais de treinamento para suportar janelas de contexto longo correspondentes, onde os dados de treinamento de contexto longo (por exemplo, 32k) são necessários, e altos custos de treinamento em GPU são assumidos. Para abordar os problemas mencionados, propomos um método de extensão de comprimento Eficiente e Extremo para Modelos de Linguagem de Grande Escala, chamado E²-LLM, com apenas um procedimento de treinamento e custo computacional drasticamente reduzido, que também elimina a necessidade de coletar dados de contexto longo. Concretamente, primeiro, os dados de treinamento do nosso E²-LLM exigem apenas um comprimento curto (por exemplo, 4k), o que reduz consideravelmente o custo de ajuste. Segundo, o procedimento de treinamento na janela de contexto curto é realizado apenas uma vez, e podemos suportar diferentes janelas de contexto de avaliação na inferência. Terceiro, no E²-LLM, com base nos embeddings de posição RoPE, introduzimos dois métodos diferentes de aumento nos parâmetros de escala e índice de posição para diferentes amostras no treinamento. O objetivo é tornar o modelo mais robusto às diferentes diferenças relativas ao interpolar diretamente o comprimento de contexto arbitrário na inferência. Resultados experimentais abrangentes em múltiplos conjuntos de dados de referência demonstram a eficácia do nosso E²-LLM em tarefas desafiadoras de contexto longo.

English

Typically, training LLMs with long context sizes is computationally expensive, requiring extensive training hours and GPU resources. Existing long-context extension methods usually need additional training procedures to support corresponding long-context windows, where the long-context training data (e.g., 32k) is needed, and high GPU training costs are assumed. To address the aforementioned issues, we propose an Efficient and Extreme length extension method for Large Language Models, called E 2 -LLM, with only one training procedure and dramatically reduced computation cost, which also removes the need to collect long-context data. Concretely, first, the training data of our E 2 -LLM only requires a short length (e.g., 4k), which reduces the tuning cost greatly. Second, the training procedure on the short training context window is performed only once time, and we can support different evaluation context windows at inference. Third, in E 2 - LLM, based on RoPE position embeddings, we introduce two different augmentation methods on the scale and position index parameters for different samples in training. It aims to make the model more robust to the different relative differences when directly interpolating the arbitrary context length at inference. Comprehensive experimental results on multiple benchmark datasets demonstrate the effectiveness of our E 2 -LLM on challenging long-context tasks.

E^2-LLM: Extensão Eficiente e Extrema de Comprimento em Modelos de Linguagem de Grande Escala

E^2-LLM: Efficient and Extreme Length Extension of Large Language Models

Resumo

Support