LongRoPE: Estensione della Finestra di Contesto degli LLM Oltre i 2 Milioni di Token

LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens

February 21, 2024

Autori: Yiran Ding, Li Lyna Zhang, Chengruidong Zhang, Yuanyuan Xu, Ning Shang, Jiahang Xu, Fan Yang, Mao Yang

cs.AI

Abstract

Una finestra di contesto ampia è una caratteristica desiderabile nei grandi modelli linguistici (LLM). Tuttavia, a causa degli elevati costi di fine-tuning, della scarsità di testi lunghi e dei valori catastrofici introdotti dalle nuove posizioni dei token, le attuali finestre di contesto estese sono limitate a circa 128k token. Questo articolo introduce LongRoPE che, per la prima volta, estende la finestra di contesto di LLM pre-addestrati a un impressionante 2048k token, con un massimo di soli 1k passi di fine-tuning entro lunghezze di addestramento di 256k, mantenendo al contempo le prestazioni nella finestra di contesto breve originale. Questo risultato è ottenuto grazie a tre innovazioni chiave: (i) identifichiamo e sfruttiamo due forme di non uniformità nell'interpolazione posizionale attraverso una ricerca efficiente, fornendo una migliore inizializzazione per il fine-tuning e consentendo un'estensione di 8x in scenari senza fine-tuning; (ii) introduciamo una strategia di estensione progressiva che prima esegue il fine-tuning di un LLM con lunghezza 256k e poi conduce una seconda interpolazione posizionale sull'LLM esteso e fine-tuned per raggiungere una finestra di contesto di 2048k; (iii) riadattiamo LongRoPE su una lunghezza di 8k per recuperare le prestazioni della finestra di contesto breve. Esperimenti estensivi su LLaMA2 e Mistral in vari compiti dimostrano l'efficacia del nostro metodo. I modelli estesi tramite LongRoPE mantengono l'architettura originale con lievi modifiche all'embedding posizionale e possono riutilizzare la maggior parte delle ottimizzazioni preesistenti.

English

Large context window is a desirable feature in large language models (LLMs). However, due to high fine-tuning costs, scarcity of long texts, and catastrophic values introduced by new token positions, current extended context windows are limited to around 128k tokens. This paper introduces LongRoPE that, for the first time, extends the context window of pre-trained LLMs to an impressive 2048k tokens, with up to only 1k fine-tuning steps at within 256k training lengths, while maintaining performance at the original short context window. This is achieved by three key innovations: (i) we identify and exploit two forms of non-uniformities in positional interpolation through an efficient search, providing a better initialization for fine-tuning and enabling an 8x extension in non-fine-tuning scenarios; (ii) we introduce a progressive extension strategy that first fine-tunes a 256k length LLM and then conducts a second positional interpolation on the fine-tuned extended LLM to achieve a 2048k context window; (iii) we readjust LongRoPE on 8k length to recover the short context window performance. Extensive experiments on LLaMA2 and Mistral across various tasks demonstrate the effectiveness of our method. Models extended via LongRoPE retain the original architecture with minor modifications to the positional embedding, and can reuse most pre-existing optimizations.