LongRoPE2: Escalonamento de Janela de Contexto LLM Quase Sem Perdas
LongRoPE2: Near-Lossless LLM Context Window Scaling
February 27, 2025
Autores: Ning Shang, Li Lyna Zhang, Siyuan Wang, Gaokai Zhang, Gilsinia Lopez, Fan Yang, Weizhu Chen, Mao Yang
cs.AI
Resumo
LongRoPE2 é uma abordagem inovadora que estende a janela de contexto efetiva de modelos de linguagem grandes (LLMs) pré-treinados para o comprimento alvo, preservando ao mesmo tempo o desempenho na janela de contexto original mais curta. Isso é alcançado por meio de três contribuições: (1) uma hipótese de que o treinamento insuficiente em dimensões RoPE mais altas contribui para os persistentes problemas fora da distribuição (OOD) observados em métodos existentes; (2) um algoritmo eficaz de redimensionamento RoPE que adota uma busca evolutiva guiada pela perplexidade "impulsionada por agulha" para abordar o problema de treinamento insuficiente; (3) uma abordagem de treinamento de janela de contexto mista que ajusta os pesos do modelo para adotar RoPE redimensionado para sequências de longo contexto, preservando o desempenho de curto contexto com o RoPE original. Experimentos extensivos em LLaMA3-8B e Phi3-mini-3.8B em vários benchmarks validam a hipótese e demonstram a eficácia do LongRoPE2. Notavelmente, o LongRoPE2 estende o LLaMA3-8B para alcançar um comprimento de contexto efetivo de 128K, mantendo mais de 98,5% do desempenho de curto contexto, usando apenas 10B de tokens - 80 vezes menos do que a abordagem da Meta, que não consegue atingir o comprimento de contexto efetivo desejado. O código estará disponível em https://github.com/microsoft/LongRoPE.
English
LongRoPE2 is a novel approach that extends the effective context window of
pre-trained large language models (LLMs) to the target length, while preserving
the performance on the original shorter context window. This is achieved by
three contributions: (1) a hypothesis that insufficient training in higher RoPE
dimensions contributes to the persistent out-of-distribution (OOD) issues
observed in existing methods; (2) an effective RoPE rescaling algorithm that
adopts evolutionary search guided by "needle-driven" perplexity to address the
insufficient training problem; (3) a mixed context window training approach
that fine-tunes model weights to adopt rescaled RoPE for long-context sequences
while preserving the short-context performance with the original RoPE.
Extensive experiments on LLaMA3-8B and Phi3-mini-3.8B across various benchmarks
validate the hypothesis and demonstrate the effectiveness of LongRoPE2.
Remarkably, LongRoPE2 extends LLaMA3-8B to achieve a 128K effective context
length while retaining over 98.5% of short-context performance, using only 10B
tokens -- 80x fewer than Meta's approach, which fails to reach the target
effective context length. Code will be available at
https://github.com/microsoft/LongRoPE.