Resonance RoPE: Migliorare la Generalizzazione della Lunghezza del Contesto nei Modelli Linguistici di Grande Dimensione

Resonance RoPE: Improving Context Length Generalization of Large Language Models

February 29, 2024

Autori: Suyuchen Wang, Ivan Kobyzev, Peng Lu, Mehdi Rezagholizadeh, Bang Liu

cs.AI

Abstract

Questo articolo affronta la sfida degli scenari train-short-test-long (TSTL) nei Large Language Models (LLM) dotati di Rotary Position Embedding (RoPE), in cui i modelli pre-addestrati su sequenze più brevi incontrano difficoltà con le posizioni dei token fuori distribuzione (OOD) in sequenze più lunghe. Introduciamo Resonance RoPE, un approccio innovativo progettato per ridurre il divario di generalizzazione negli scenari TSTL, perfezionando l'interpolazione delle caratteristiche RoPE per le posizioni OOD, migliorando significativamente le prestazioni del modello senza costi computazionali aggiuntivi online. Inoltre, presentiamo PosGen, un nuovo benchmark sintetico specificamente progettato per l'analisi comportamentale granulare negli scenari TSTL, con l'obiettivo di isolare la difficoltà costantemente crescente della generazione di token su contesti lunghi dalle sfide del riconoscimento di nuove posizioni dei token. I nostri esperimenti su compiti sintetici dimostrano che, dopo l'applicazione di Resonance RoPE, i Transformer riconoscono le posizioni OOD in modo migliore e più robusto. I nostri estesi esperimenti su LLM mostrano anche prestazioni superiori dopo l'applicazione di Resonance RoPE al metodo di scalatura RoPE attualmente all'avanguardia, YaRN, sia nei compiti di modellazione del linguaggio upstream che in una varietà di applicazioni downstream su testi lunghi.

English

This paper addresses the challenge of train-short-test-long (TSTL) scenarios in Large Language Models (LLMs) equipped with Rotary Position Embedding (RoPE), where models pre-trained on shorter sequences face difficulty with out-of-distribution (OOD) token positions in longer sequences. We introduce Resonance RoPE, a novel approach designed to narrow the generalization gap in TSTL scenarios by refining the interpolation of RoPE features for OOD positions, significantly improving the model performance without additional online computational costs. Furthermore, we present PosGen, a new synthetic benchmark specifically designed for fine-grained behavior analysis in TSTL scenarios, aiming to isolate the constantly increasing difficulty of token generation on long contexts from the challenges of recognizing new token positions. Our experiments on synthetic tasks show that after applying Resonance RoPE, Transformers recognize OOD position better and more robustly. Our extensive LLM experiments also show superior performance after applying Resonance RoPE to the current state-of-the-art RoPE scaling method, YaRN, on both upstream language modeling tasks and a variety of downstream long-text applications.