Extensão da Janela de Contexto de Modelos de Linguagem de Grande Escala via Interpolação Posicional

Extending Context Window of Large Language Models via Positional Interpolation

June 27, 2023

Autores: Shouyuan Chen, Sherman Wong, Liangjian Chen, Yuandong Tian

cs.AI

Resumo

Apresentamos a Interpolação de Posição (PI), que estende os tamanhos das janelas de contexto de LLMs pré-treinados baseados em RoPE, como os modelos LLaMA, para até 32768 com um ajuste fino mínimo (dentro de 1000 passos), ao mesmo tempo em que demonstra resultados empíricos robustos em várias tarefas que exigem contexto longo, incluindo recuperação de chave, modelagem de linguagem e sumarização de documentos longos, desde o LLaMA 7B até o 65B. Enquanto isso, o modelo estendido pela Interpolação de Posição preserva relativamente bem a qualidade em tarefas dentro de sua janela de contexto original. Para alcançar esse objetivo, a Interpolação de Posição reduz linearmente os índices de posição de entrada para corresponder ao tamanho original da janela de contexto, em vez de extrapolar além do comprimento de contexto treinado, o que pode levar a pontuações de atenção catastróficamente altas que arruinam completamente o mecanismo de auto-atenção. Nosso estudo teórico mostra que o limite superior da interpolação é pelo menos ∼600 vezes menor do que o da extrapolação, demonstrando ainda mais sua estabilidade. Modelos estendidos via Interpolação de Posição mantêm sua arquitetura original e podem reutilizar a maioria das otimizações e infraestruturas pré-existentes.

English

We present Position Interpolation (PI) that extends the context window sizes of RoPE-based pretrained LLMs such as LLaMA models to up to 32768 with minimal fine-tuning (within 1000 steps), while demonstrating strong empirical results on various tasks that require long context, including passkey retrieval, language modeling, and long document summarization from LLaMA 7B to 65B. Meanwhile, the extended model by Position Interpolation preserve quality relatively well on tasks within its original context window. To achieve this goal, Position Interpolation linearly down-scales the input position indices to match the original context window size, rather than extrapolating beyond the trained context length which may lead to catastrophically high attention scores that completely ruin the self-attention mechanism. Our theoretical study shows that the upper bound of interpolation is at least sim 600 times smaller than that of extrapolation, further demonstrating its stability. Models extended via Position Interpolation retain its original architecture and can reuse most pre-existing optimization and infrastructure.