Persi nel mezzo: come i modelli linguistici utilizzano contesti lunghi

Lost in the Middle: How Language Models Use Long Contexts

July 6, 2023

Autori: Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang

cs.AI

Abstract

Sebbene i recenti modelli linguistici abbiano la capacità di elaborare contesti di input lunghi, si sa relativamente poco su quanto bene questi modelli utilizzino contesti più estesi. Analizziamo le prestazioni dei modelli linguistici in due compiti che richiedono l'identificazione di informazioni rilevanti all'interno dei loro contesti di input: il question answering su più documenti e il recupero di coppie chiave-valore. Troviamo che le prestazioni sono spesso più elevate quando le informazioni rilevanti si trovano all'inizio o alla fine del contesto di input, e si degradano significativamente quando i modelli devono accedere a informazioni rilevanti nel mezzo di contesti lunghi. Inoltre, le prestazioni diminuiscono sostanzialmente all'aumentare della lunghezza del contesto di input, anche per modelli esplicitamente progettati per contesti lunghi. La nostra analisi fornisce una migliore comprensione di come i modelli linguistici utilizzano il loro contesto di input e propone nuovi protocolli di valutazione per i futuri modelli a contesto lungo.

English

While recent language models have the ability to take long contexts as input, relatively little is known about how well the language models use longer context. We analyze language model performance on two tasks that require identifying relevant information within their input contexts: multi-document question answering and key-value retrieval. We find that performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts. Furthermore, performance substantially decreases as the input context grows longer, even for explicitly long-context models. Our analysis provides a better understanding of how language models use their input context and provides new evaluation protocols for future long-context models.