E^2-LLM: Estensione Efficiente ed Estrema della Lunghezza dei Modelli Linguistici di Grandi Dimensioni

Abstract

Tipicamente, l'addestramento di LLM con dimensioni di contesto lunghe è computazionalmente costoso, richiedendo ore di addestramento estese e risorse GPU significative. I metodi esistenti per l'estensione del contesto lungo di solito necessitano di procedure di addestramento aggiuntive per supportare le corrispondenti finestre di contesto lungo, dove sono richiesti dati di addestramento con contesto lungo (ad esempio, 32k) e si presuppongono elevati costi di addestramento su GPU. Per affrontare i problemi sopra menzionati, proponiamo un metodo Efficiente e Estremo per l'estensione della lunghezza dei Large Language Models, chiamato E²-LLM, che richiede solo una procedura di addestramento e riduce drasticamente i costi computazionali, eliminando inoltre la necessità di raccogliere dati con contesto lungo. Nello specifico, in primo luogo, i dati di addestramento del nostro E²-LLM richiedono solo una lunghezza breve (ad esempio, 4k), riducendo notevolmente i costi di ottimizzazione. In secondo luogo, la procedura di addestramento sulla finestra di contesto breve viene eseguita una sola volta, e possiamo supportare diverse finestre di contesto di valutazione durante l'inferenza. In terzo luogo, in E²-LLM, basandoci sugli embedding di posizione RoPE, introduciamo due diversi metodi di aumentazione sui parametri di scala e indice di posizione per diversi campioni durante l'addestramento. L'obiettivo è rendere il modello più robusto alle diverse differenze relative quando si interpola direttamente una lunghezza di contesto arbitraria durante l'inferenza. I risultati sperimentali completi su più dataset di benchmark dimostrano l'efficacia del nostro E²-LLM su compiti impegnativi con contesto lungo.

English

Typically, training LLMs with long context sizes is computationally expensive, requiring extensive training hours and GPU resources. Existing long-context extension methods usually need additional training procedures to support corresponding long-context windows, where the long-context training data (e.g., 32k) is needed, and high GPU training costs are assumed. To address the aforementioned issues, we propose an Efficient and Extreme length extension method for Large Language Models, called E 2 -LLM, with only one training procedure and dramatically reduced computation cost, which also removes the need to collect long-context data. Concretely, first, the training data of our E 2 -LLM only requires a short length (e.g., 4k), which reduces the tuning cost greatly. Second, the training procedure on the short training context window is performed only once time, and we can support different evaluation context windows at inference. Third, in E 2 - LLM, based on RoPE position embeddings, we introduce two different augmentation methods on the scale and position index parameters for different samples in training. It aims to make the model more robust to the different relative differences when directly interpolating the arbitrary context length at inference. Comprehensive experimental results on multiple benchmark datasets demonstrate the effectiveness of our E 2 -LLM on challenging long-context tasks.

E^2-LLM: Estensione Efficiente ed Estrema della Lunghezza dei Modelli Linguistici di Grandi Dimensioni

E^2-LLM: Efficient and Extreme Length Extension of Large Language Models

Abstract

Support