I modelli linguistici a contesto lungo (LLM) mostrano difficoltà nell'apprendimento in-context con input estesi

Long-context LLMs Struggle with Long In-context Learning

April 2, 2024

Autori: Tianle Li, Ge Zhang, Quy Duc Do, Xiang Yue, Wenhu Chen

cs.AI

Abstract

I Large Language Model (LLM) hanno compiuto progressi significativi nella gestione di sequenze lunghe che superano i 32K token. Tuttavia, la loro valutazione delle prestazioni è stata in gran parte limitata a metriche come la perplessità e compiti sintetici, che potrebbero non cogliere appieno le loro capacità in scenari reali più complessi. Questo studio introduce un benchmark specializzato (LIConBench) focalizzato sull'apprendimento in-context lungo nel campo della classificazione con etichette estreme. Abbiamo selezionato meticolosamente sei dataset con un intervallo di etichette che va da 28 a 174 classi, coprendo diverse lunghezze di input (dimostrazioni few-shot) da 2K a 50K. Il nostro benchmark richiede che gli LLM comprendano l'intero input per riconoscere gli ampi spazi di etichette e fare previsioni corrette. Abbiamo valutato 13 LLM a contesto lungo sul nostro benchmark. Abbiamo riscontrato che gli LLM a contesto lungo performano relativamente bene con una lunghezza di token inferiore a 20K e che le prestazioni beneficiano dell'utilizzo di una finestra di contesto lunga. Tuttavia, quando la finestra di contesto supera i 20K, la maggior parte degli LLM, ad eccezione di GPT-4, subisce un calo drastico. Ciò suggerisce un divario significativo nelle capacità attuali degli LLM nel processare e comprendere sequenze lunghe e ricche di contesto. Un'ulteriore analisi ha rivelato una tendenza tra i modelli a favorire le previsioni per le etichette presentate verso la fine della sequenza. La loro capacità di ragionare su più elementi nella sequenza lunga deve ancora essere migliorata. Il nostro studio rivela che la comprensione e il ragionamento su contesti lunghi rimane un compito impegnativo per gli LLM esistenti. Crediamo che LIConBench possa servire come una valutazione più realistica per i futuri LLM a contesto lungo.

English

Large Language Models (LLMs) have made significant strides in handling long sequences exceeding 32K tokens. However, their performance evaluation has largely been confined to metrics like perplexity and synthetic tasks, which may not fully capture their abilities in more nuanced, real-world scenarios. This study introduces a specialized benchmark (LIConBench) focusing on long in-context learning within the realm of extreme-label classification. We meticulously selected six datasets with a label range spanning 28 to 174 classes covering different input (few-shot demonstration) length from 2K to 50K. Our benchmark requires LLMs to comprehend the entire input to recognize the massive label spaces to make correct prediction. We evaluate 13 long-context LLMs on our benchmarks. We find that the long-context LLMs perform relatively well under the token length of 20K and the performance benefits from utilizing the long context window. However, after the context window exceeds 20K, most LLMs except GPT-4 will dip dramatically. This suggests a notable gap in current LLM capabilities for processing and understanding long, context-rich sequences. Further analysis revealed a tendency among models to favor predictions for labels presented towards the end at the sequence. Their ability to reason over multiple pieces in the long sequence is yet to be improved. Our study reveals that long context understanding and reasoning is still a challenging task for the existing LLMs. We believe LIConBench could serve as a more realistic evaluation for the future long context LLMs.