Perdidos no Meio: Como Modelos de Linguagem Utilizam Contextos Longos
Lost in the Middle: How Language Models Use Long Contexts
July 6, 2023
Autores: Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang
cs.AI
Resumo
Embora os modelos de linguagem recentes tenham a capacidade de receber contextos longos como entrada, relativamente pouco se sabe sobre quão bem esses modelos utilizam contextos mais extensos. Analisamos o desempenho dos modelos de linguagem em duas tarefas que exigem a identificação de informações relevantes dentro de seus contextos de entrada: resposta a perguntas em múltiplos documentos e recuperação de pares chave-valor. Descobrimos que o desempenho é frequentemente mais alto quando as informações relevantes ocorrem no início ou no final do contexto de entrada, e degrada significativamente quando os modelos precisam acessar informações relevantes no meio de contextos longos. Além disso, o desempenho diminui substancialmente à medida que o contexto de entrada cresce, mesmo para modelos explicitamente projetados para contextos longos. Nossa análise fornece uma melhor compreensão de como os modelos de linguagem utilizam seu contexto de entrada e oferece novos protocolos de avaliação para futuros modelos de contexto longo.
English
While recent language models have the ability to take long contexts as input,
relatively little is known about how well the language models use longer
context. We analyze language model performance on two tasks that require
identifying relevant information within their input contexts: multi-document
question answering and key-value retrieval. We find that performance is often
highest when relevant information occurs at the beginning or end of the input
context, and significantly degrades when models must access relevant
information in the middle of long contexts. Furthermore, performance
substantially decreases as the input context grows longer, even for explicitly
long-context models. Our analysis provides a better understanding of how
language models use their input context and provides new evaluation protocols
for future long-context models.