Extension de la fenêtre contextuelle des grands modèles de langage via l'interpolation positionnelle

Extending Context Window of Large Language Models via Positional Interpolation

June 27, 2023

Auteurs: Shouyuan Chen, Sherman Wong, Liangjian Chen, Yuandong Tian

cs.AI

Résumé

Nous présentons l'Interpolation de Position (Position Interpolation, PI) qui étend la taille des fenêtres contextuelles des modèles de langage pré-entraînés basés sur RoPE, tels que les modèles LLaMA, jusqu'à 32768 avec un ajustement fin minimal (en moins de 1000 étapes), tout en démontrant des résultats empiriques solides sur diverses tâches nécessitant un contexte long, notamment la récupération de clés, la modélisation du langage et la synthèse de documents longs, des modèles LLaMA 7B à 65B. Par ailleurs, les modèles étendus par l'Interpolation de Position conservent relativement bien leur qualité sur les tâches situées dans leur fenêtre contextuelle d'origine. Pour atteindre cet objectif, l'Interpolation de Position réduit linéairement les indices de position d'entrée pour correspondre à la taille de la fenêtre contextuelle d'origine, plutôt que d'extrapoler au-delà de la longueur de contexte entraînée, ce qui pourrait entraîner des scores d'attention catastrophiquement élevés, ruinant complètement le mécanisme d'auto-attention. Notre étude théorique montre que la borne supérieure de l'interpolation est au moins ∼600 fois plus petite que celle de l'extrapolation, démontrant ainsi sa stabilité. Les modèles étendus via l'Interpolation de Position conservent leur architecture d'origine et peuvent réutiliser la plupart des optimisations et infrastructures préexistantes.

English

We present Position Interpolation (PI) that extends the context window sizes of RoPE-based pretrained LLMs such as LLaMA models to up to 32768 with minimal fine-tuning (within 1000 steps), while demonstrating strong empirical results on various tasks that require long context, including passkey retrieval, language modeling, and long document summarization from LLaMA 7B to 65B. Meanwhile, the extended model by Position Interpolation preserve quality relatively well on tasks within its original context window. To achieve this goal, Position Interpolation linearly down-scales the input position indices to match the original context window size, rather than extrapolating beyond the trained context length which may lead to catastrophically high attention scores that completely ruin the self-attention mechanism. Our theoretical study shows that the upper bound of interpolation is at least sim 600 times smaller than that of extrapolation, further demonstrating its stability. Models extended via Position Interpolation retain its original architecture and can reuse most pre-existing optimization and infrastructure.