Резонанс RoPE: Улучшение обобщения длины контекста больших языковых моделей
Resonance RoPE: Improving Context Length Generalization of Large Language Models
February 29, 2024
Авторы: Suyuchen Wang, Ivan Kobyzev, Peng Lu, Mehdi Rezagholizadeh, Bang Liu
cs.AI
Аннотация
Данный документ рассматривает проблему сценариев обучения-короткий тест-длинный (TSTL) в больших языковых моделях (LLM), оборудованных вращающимися позиционными вложениями (RoPE), где модели, предварительно обученные на более коротких последовательностях, сталкиваются с трудностями при обработке позиций токенов вне распределения в более длинных последовательностях. Мы представляем Resonance RoPE, новый подход, разработанный для сужения разрыва обобщения в сценариях TSTL путем улучшения интерполяции функций RoPE для позиций вне распределения, что значительно улучшает производительность модели без дополнительных вычислительных затрат в режиме онлайн. Кроме того, мы представляем PosGen, новый синтетический бенчмарк, специально разработанный для анализа поведения с тонкой настройкой в сценариях TSTL, с целью выделить постоянно возрастающую сложность генерации токенов в длинных контекстах от сложностей распознавания новых позиций токенов. Наши эксперименты на синтетических задачах показывают, что после применения Resonance RoPE трансформеры лучше и более надежно распознают позиции вне распределения. Наши обширные эксперименты с LLM также показывают превосходную производительность после применения Resonance RoPE к текущему методу масштабирования RoPE, YaRN, как на задачах языкового моделирования вверх по потоку, так и на различных прикладных задачах с длинным текстом.
English
This paper addresses the challenge of train-short-test-long (TSTL) scenarios
in Large Language Models (LLMs) equipped with Rotary Position Embedding (RoPE),
where models pre-trained on shorter sequences face difficulty with
out-of-distribution (OOD) token positions in longer sequences. We introduce
Resonance RoPE, a novel approach designed to narrow the generalization gap in
TSTL scenarios by refining the interpolation of RoPE features for OOD
positions, significantly improving the model performance without additional
online computational costs. Furthermore, we present PosGen, a new synthetic
benchmark specifically designed for fine-grained behavior analysis in TSTL
scenarios, aiming to isolate the constantly increasing difficulty of token
generation on long contexts from the challenges of recognizing new token
positions. Our experiments on synthetic tasks show that after applying
Resonance RoPE, Transformers recognize OOD position better and more robustly.
Our extensive LLM experiments also show superior performance after applying
Resonance RoPE to the current state-of-the-art RoPE scaling method, YaRN, on
both upstream language modeling tasks and a variety of downstream long-text
applications.