Resonance RoPE: Verbetering van Contextlengte Generalisatie in Grote Taalmodellen

Resonance RoPE: Improving Context Length Generalization of Large Language Models

February 29, 2024

Auteurs: Suyuchen Wang, Ivan Kobyzev, Peng Lu, Mehdi Rezagholizadeh, Bang Liu

cs.AI

Samenvatting

Dit artikel behandelt de uitdaging van train-short-test-long (TSTL) scenario's in Large Language Models (LLM's) die zijn uitgerust met Rotary Position Embedding (RoPE), waarbij modellen die zijn voorgetraind op kortere sequenties moeite hebben met out-of-distribution (OOD) tokenposities in langere sequenties. We introduceren Resonance RoPE, een nieuwe aanpak die is ontworpen om de generalisatiekloof in TSTL-scenario's te verkleinen door de interpolatie van RoPE-features voor OOD-posities te verfijnen, wat de modelprestaties aanzienlijk verbetert zonder extra online rekenkosten. Daarnaast presenteren we PosGen, een nieuwe synthetische benchmark die specifiek is ontworpen voor gedetailleerd gedragsanalyse in TSTL-scenario's, met als doel de voortdurend toenemende moeilijkheid van het genereren van tokens in lange contexten te isoleren van de uitdagingen van het herkennen van nieuwe tokenposities. Onze experimenten op synthetische taken laten zien dat Transformers na het toepassen van Resonance RoPE OOD-posities beter en robuuster herkennen. Onze uitgebreide LLM-experimenten tonen ook superieure prestaties na het toepassen van Resonance RoPE op de huidige state-of-the-art RoPE-schaalmethode, YaRN, zowel bij upstream taalmodelleringstaken als bij een verscheidenheid aan downstream lange-teksttoepassingen.

English

This paper addresses the challenge of train-short-test-long (TSTL) scenarios in Large Language Models (LLMs) equipped with Rotary Position Embedding (RoPE), where models pre-trained on shorter sequences face difficulty with out-of-distribution (OOD) token positions in longer sequences. We introduce Resonance RoPE, a novel approach designed to narrow the generalization gap in TSTL scenarios by refining the interpolation of RoPE features for OOD positions, significantly improving the model performance without additional online computational costs. Furthermore, we present PosGen, a new synthetic benchmark specifically designed for fine-grained behavior analysis in TSTL scenarios, aiming to isolate the constantly increasing difficulty of token generation on long contexts from the challenges of recognizing new token positions. Our experiments on synthetic tasks show that after applying Resonance RoPE, Transformers recognize OOD position better and more robustly. Our extensive LLM experiments also show superior performance after applying Resonance RoPE to the current state-of-the-art RoPE scaling method, YaRN, on both upstream language modeling tasks and a variety of downstream long-text applications.