Расширение контекстного окна больших языковых моделей с помощью позиционной интерполяции

Extending Context Window of Large Language Models via Positional Interpolation

June 27, 2023

Авторы: Shouyuan Chen, Sherman Wong, Liangjian Chen, Yuandong Tian

cs.AI

Аннотация

Мы представляем метод интерполяции позиций (Position Interpolation, PI), который расширяет размеры контекстного окна предобученных языковых моделей (LLM) на основе RoPE, таких как модели LLaMA, до 32768 с минимальной дообучением (в пределах 1000 шагов), демонстрируя при этом сильные эмпирические результаты на различных задачах, требующих длинного контекста, включая извлечение ключевых фраз, языковое моделирование и суммаризация длинных документов для моделей LLaMA от 7B до 65B. При этом модели, расширенные с помощью интерполяции позиций, сохраняют качество относительно хорошо на задачах в пределах их исходного контекстного окна. Для достижения этой цели интерполяция позиций линейно уменьшает индексы входных позиций, чтобы они соответствовали исходному размеру контекстного окна, вместо экстраполяции за пределы обученной длины контекста, что может привести к катастрофически высоким значениям внимания, полностью разрушающим механизм самовнимания. Наше теоретическое исследование показывает, что верхняя граница интерполяции как минимум в ∼600 раз меньше, чем у экстраполяции, что дополнительно подтверждает её стабильность. Модели, расширенные с помощью интерполяции позиций, сохраняют свою исходную архитектуру и могут повторно использовать большинство существующих оптимизаций и инфраструктуры.

English

We present Position Interpolation (PI) that extends the context window sizes of RoPE-based pretrained LLMs such as LLaMA models to up to 32768 with minimal fine-tuning (within 1000 steps), while demonstrating strong empirical results on various tasks that require long context, including passkey retrieval, language modeling, and long document summarization from LLaMA 7B to 65B. Meanwhile, the extended model by Position Interpolation preserve quality relatively well on tasks within its original context window. To achieve this goal, Position Interpolation linearly down-scales the input position indices to match the original context window size, rather than extrapolating beyond the trained context length which may lead to catastrophically high attention scores that completely ruin the self-attention mechanism. Our theoretical study shows that the upper bound of interpolation is at least sim 600 times smaller than that of extrapolation, further demonstrating its stability. Models extended via Position Interpolation retain its original architecture and can reuse most pre-existing optimization and infrastructure.