RULER: Qual è la vera dimensione del contesto dei tuoi modelli linguistici a lungo contesto?
RULER: What's the Real Context Size of Your Long-Context Language Models?
April 9, 2024
Autori: Cheng-Ping Hsieh, Simeng Sun, Samuel Kriman, Shantanu Acharya, Dima Rekesh, Fei Jia, Boris Ginsburg
cs.AI
Abstract
Il test "ago-in-un-pagliaio" (NIAH), che valuta la capacità di recuperare un'informazione specifica (l'"ago") da lunghi testi distrattori (il "pagliaio"), è stato ampiamente adottato per valutare i modelli linguistici (LM) con contesto lungo. Tuttavia, questo semplice test basato sul recupero è indicativo solo di una forma superficiale di comprensione del contesto lungo. Per fornire una valutazione più completa dei LM con contesto lungo, abbiamo creato un nuovo benchmark sintetico chiamato RULER con configurazioni flessibili per lunghezze di sequenza personalizzate e complessità del task. RULER amplia il classico test NIAH per includere variazioni con diversi tipi e quantità di aghi. Inoltre, RULER introduce nuove categorie di task come il tracciamento multi-hop e l'aggregazione per testare comportamenti che vanno oltre la semplice ricerca nel contesto. Abbiamo valutato dieci LM con contesto lungo utilizzando 13 task rappresentativi in RULER. Nonostante raggiungano un'accuratezza quasi perfetta nel classico test NIAH, tutti i modelli mostrano un calo significativo delle prestazioni all'aumentare della lunghezza del contesto. Sebbene questi modelli dichiarino tutti dimensioni del contesto di 32K token o superiori, solo quattro modelli (GPT-4, Command-R, Yi-34B e Mixtral) riescono a mantenere prestazioni soddisfacenti alla lunghezza di 32K. La nostra analisi di Yi-34B, che supporta una lunghezza del contesto di 200K, rivela un ampio margine di miglioramento all'aumentare della lunghezza dell'input e della complessità del task. RULER è stato reso open source per stimolare una valutazione completa dei LM con contesto lungo.
English
The needle-in-a-haystack (NIAH) test, which examines the ability to retrieve
a piece of information (the "needle") from long distractor texts (the
"haystack"), has been widely adopted to evaluate long-context language models
(LMs). However, this simple retrieval-based test is indicative of only a
superficial form of long-context understanding. To provide a more comprehensive
evaluation of long-context LMs, we create a new synthetic benchmark RULER with
flexible configurations for customized sequence length and task complexity.
RULER expands upon the vanilla NIAH test to encompass variations with diverse
types and quantities of needles. Moreover, RULER introduces new task categories
multi-hop tracing and aggregation to test behaviors beyond searching from
context. We evaluate ten long-context LMs with 13 representative tasks in
RULER. Despite achieving nearly perfect accuracy in the vanilla NIAH test, all
models exhibit large performance drops as the context length increases. While
these models all claim context sizes of 32K tokens or greater, only four models
(GPT-4, Command-R, Yi-34B, and Mixtral) can maintain satisfactory performance
at the length of 32K. Our analysis of Yi-34B, which supports context length of
200K, reveals large room for improvement as we increase input length and task
complexity. We open source RULER to spur comprehensive evaluation of
long-context LMs.