Erweiterung des Kontextfensters großer Sprachmodelle durch Positionale Interpolation

Extending Context Window of Large Language Models via Positional Interpolation

June 27, 2023

Autoren: Shouyuan Chen, Sherman Wong, Liangjian Chen, Yuandong Tian

cs.AI

Zusammenfassung

Wir stellen Position Interpolation (PI) vor, das die Kontextfenstergrößen von RoPE-basierten vortrainierten LLMs wie LLaMA-Modellen mit minimalem Fine-Tuning (innerhalb von 1000 Schritten) auf bis zu 32768 erweitert, während gleichzeitig starke empirische Ergebnisse bei verschiedenen Aufgaben, die einen langen Kontext erfordern, demonstriert werden. Dazu gehören Passkey-Retrieval, Sprachmodellierung und die Zusammenfassung langer Dokumente von LLaMA 7B bis 65B. Gleichzeitig bewahrt das durch Position Interpolation erweiterte Modell die Qualität relativ gut bei Aufgaben innerhalb seines ursprünglichen Kontextfensters. Um dieses Ziel zu erreichen, skaliert Position Interpolation die Eingabepositionsindizes linear herunter, um sie an die ursprüngliche Kontextfenstergröße anzupassen, anstatt über die trainierte Kontextlänge hinaus zu extrapolieren, was zu katastrophal hohen Aufmerksamkeitswerten führen könnte, die den Selbstaufmerksamkeitsmechanismus vollständig zerstören. Unsere theoretische Studie zeigt, dass die obere Grenze der Interpolation mindestens ∼600 Mal kleiner ist als die der Extrapolation, was ihre Stabilität weiter unterstreicht. Modelle, die durch Position Interpolation erweitert werden, behalten ihre ursprüngliche Architektur bei und können die meisten bestehenden Optimierungen und Infrastrukturen wiederverwenden.

English

We present Position Interpolation (PI) that extends the context window sizes of RoPE-based pretrained LLMs such as LLaMA models to up to 32768 with minimal fine-tuning (within 1000 steps), while demonstrating strong empirical results on various tasks that require long context, including passkey retrieval, language modeling, and long document summarization from LLaMA 7B to 65B. Meanwhile, the extended model by Position Interpolation preserve quality relatively well on tasks within its original context window. To achieve this goal, Position Interpolation linearly down-scales the input position indices to match the original context window size, rather than extrapolating beyond the trained context length which may lead to catastrophically high attention scores that completely ruin the self-attention mechanism. Our theoretical study shows that the upper bound of interpolation is at least sim 600 times smaller than that of extrapolation, further demonstrating its stability. Models extended via Position Interpolation retain its original architecture and can reuse most pre-existing optimization and infrastructure.