E^2-LLM: Efficiënte en Extreme Lengte-uitbreiding van Grote Taalmodellen

Samenvatting

Het trainen van LLM's met grote contextlengtes is doorgaans rekenkundig kostbaar, waarbij uitgebreide trainingsuren en GPU-bronnen nodig zijn. Bestaande methoden voor het uitbreiden van lange contexten vereisen meestal aanvullende trainingsprocedures om overeenkomstige lange-contextvensters te ondersteunen, waarbij lange-contexttrainingsdata (bijv. 32k) nodig is en hoge GPU-trainingskosten worden verondersteld. Om de bovengenoemde problemen aan te pakken, stellen we een efficiënte en extreme lengte-uitbreidingsmethode voor Large Language Models voor, genaamd E²-LLM, met slechts één trainingsprocedure en aanzienlijk gereduceerde rekenkosten, waardoor ook de noodzaak om lange-contextdata te verzamelen wordt weggenomen. Concreet vereist de trainingsdata van onze E²-LLM slechts een korte lengte (bijv. 4k), wat de afstemmingskosten aanzienlijk verlaagt. Ten tweede wordt de trainingsprocedure op het korte trainingscontextvenster slechts één keer uitgevoerd, en kunnen we verschillende evaluatiecontextvensters ondersteunen tijdens de inferentie. Ten derde introduceren we in E²-LLM, gebaseerd op RoPE-positie-embeddingen, twee verschillende augmentatiemethoden op de schaal- en positie-indexparameters voor verschillende samples tijdens de training. Dit heeft tot doel het model robuuster te maken voor de verschillende relatieve verschillen bij het direct interpoleren van de willekeurige contextlengte tijdens de inferentie. Uitgebreide experimentele resultaten op meerdere benchmarkdatasets demonstreren de effectiviteit van onze E²-LLM op uitdagende lange-contexttaken.

English

Typically, training LLMs with long context sizes is computationally expensive, requiring extensive training hours and GPU resources. Existing long-context extension methods usually need additional training procedures to support corresponding long-context windows, where the long-context training data (e.g., 32k) is needed, and high GPU training costs are assumed. To address the aforementioned issues, we propose an Efficient and Extreme length extension method for Large Language Models, called E 2 -LLM, with only one training procedure and dramatically reduced computation cost, which also removes the need to collect long-context data. Concretely, first, the training data of our E 2 -LLM only requires a short length (e.g., 4k), which reduces the tuning cost greatly. Second, the training procedure on the short training context window is performed only once time, and we can support different evaluation context windows at inference. Third, in E 2 - LLM, based on RoPE position embeddings, we introduce two different augmentation methods on the scale and position index parameters for different samples in training. It aims to make the model more robust to the different relative differences when directly interpolating the arbitrary context length at inference. Comprehensive experimental results on multiple benchmark datasets demonstrate the effectiveness of our E 2 -LLM on challenging long-context tasks.

E^2-LLM: Efficiënte en Extreme Lengte-uitbreiding van Grote Taalmodellen

E^2-LLM: Efficient and Extreme Length Extension of Large Language Models

Samenvatting

Support