Resonance RoPE: Melhorando a Generalização de Comprimento de Contexto em Modelos de Linguagem de Grande Escala

Resonance RoPE: Improving Context Length Generalization of Large Language Models

February 29, 2024

Autores: Suyuchen Wang, Ivan Kobyzev, Peng Lu, Mehdi Rezagholizadeh, Bang Liu

cs.AI

Resumo

Este artigo aborda o desafio dos cenários de treino-curto-teste-longo (TSTL) em Modelos de Linguagem de Grande Escala (LLMs) equipados com Embedding de Posição Rotacional (RoPE), onde modelos pré-treinados em sequências mais curtas enfrentam dificuldades com posições de tokens fora da distribuição (OOD) em sequências mais longas. Introduzimos o Resonance RoPE, uma abordagem inovadora projetada para reduzir a lacuna de generalização em cenários TSTL, refinando a interpolação das características do RoPE para posições OOD, melhorando significativamente o desempenho do modelo sem custos computacionais adicionais em tempo de execução. Além disso, apresentamos o PosGen, um novo benchmark sintético especificamente projetado para análise de comportamento detalhada em cenários TSTL, visando isolar a dificuldade constantemente crescente de geração de tokens em contextos longos dos desafios de reconhecer novas posições de tokens. Nossos experimentos em tarefas sintéticas mostram que, após a aplicação do Resonance RoPE, os Transformers reconhecem posições OOD de forma melhor e mais robusta. Nossos extensos experimentos com LLMs também mostram um desempenho superior após a aplicação do Resonance RoPE ao método atual de escalonamento RoPE de última geração, YaRN, tanto em tarefas de modelagem de linguagem upstream quanto em uma variedade de aplicações de texto longo downstream.

English

This paper addresses the challenge of train-short-test-long (TSTL) scenarios in Large Language Models (LLMs) equipped with Rotary Position Embedding (RoPE), where models pre-trained on shorter sequences face difficulty with out-of-distribution (OOD) token positions in longer sequences. We introduce Resonance RoPE, a novel approach designed to narrow the generalization gap in TSTL scenarios by refining the interpolation of RoPE features for OOD positions, significantly improving the model performance without additional online computational costs. Furthermore, we present PosGen, a new synthetic benchmark specifically designed for fine-grained behavior analysis in TSTL scenarios, aiming to isolate the constantly increasing difficulty of token generation on long contexts from the challenges of recognizing new token positions. Our experiments on synthetic tasks show that after applying Resonance RoPE, Transformers recognize OOD position better and more robustly. Our extensive LLM experiments also show superior performance after applying Resonance RoPE to the current state-of-the-art RoPE scaling method, YaRN, on both upstream language modeling tasks and a variety of downstream long-text applications.