Estensione della Finestra Contestuale dei Modelli Linguistici di Grande Scala tramite Interpolazione Posizionale

Extending Context Window of Large Language Models via Positional Interpolation

June 27, 2023

Autori: Shouyuan Chen, Sherman Wong, Liangjian Chen, Yuandong Tian

cs.AI

Abstract

Presentiamo l'Interpolazione di Posizione (Position Interpolation, PI) che estende le dimensioni delle finestre contestuali dei modelli linguistici pre-addestrati basati su RoPE, come i modelli LLaMA, fino a 32768 con un minimo di fine-tuning (entro 1000 passi), dimostrando al contempo risultati empirici solidi su vari compiti che richiedono contesti lunghi, tra cui il recupero di passkey, la modellazione del linguaggio e la sintesi di documenti lunghi, dai modelli LLaMA 7B a 65B. Nel frattempo, i modelli estesi tramite Interpolazione di Posizione mantengono relativamente bene la qualità sui compiti all'interno della loro finestra contestuale originale. Per raggiungere questo obiettivo, l'Interpolazione di Posizione ridimensiona linearmente gli indici di posizione in ingresso per farli corrispondere alla dimensione originale della finestra contestuale, piuttosto che estrapolare oltre la lunghezza contestuale addestrata, il che potrebbe portare a punteggi di attenzione catastroficamente alti che rovinerebbero completamente il meccanismo di self-attention. Il nostro studio teorico mostra che il limite superiore dell'interpolazione è almeno circa 600 volte più piccolo di quello dell'estrapolazione, dimostrando ulteriormente la sua stabilità. I modelli estesi tramite Interpolazione di Posizione mantengono la loro architettura originale e possono riutilizzare la maggior parte delle ottimizzazioni e delle infrastrutture preesistenti.

English

We present Position Interpolation (PI) that extends the context window sizes of RoPE-based pretrained LLMs such as LLaMA models to up to 32768 with minimal fine-tuning (within 1000 steps), while demonstrating strong empirical results on various tasks that require long context, including passkey retrieval, language modeling, and long document summarization from LLaMA 7B to 65B. Meanwhile, the extended model by Position Interpolation preserve quality relatively well on tasks within its original context window. To achieve this goal, Position Interpolation linearly down-scales the input position indices to match the original context window size, rather than extrapolating beyond the trained context length which may lead to catastrophically high attention scores that completely ruin the self-attention mechanism. Our theoretical study shows that the upper bound of interpolation is at least sim 600 times smaller than that of extrapolation, further demonstrating its stability. Models extended via Position Interpolation retain its original architecture and can reuse most pre-existing optimization and infrastructure.