LLM's met lange context worstelen met langdurig in-context leren.

Long-context LLMs Struggle with Long In-context Learning

April 2, 2024

Auteurs: Tianle Li, Ge Zhang, Quy Duc Do, Xiang Yue, Wenhu Chen

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt in het verwerken van lange sequenties die 32K tokens overschrijden. Hun prestatie-evaluatie is echter grotendeels beperkt gebleven tot metrieken zoals perplexiteit en synthetische taken, wat mogelijk niet volledig hun vermogen in meer genuanceerde, realistische scenario's weergeeft. Deze studie introduceert een gespecialiseerde benchmark (LIConBench) die zich richt op lang in-context leren binnen het domein van extreme-label classificatie. We hebben zorgvuldig zes datasets geselecteerd met een labelbereik van 28 tot 174 klassen, waarbij de invoerlengte (few-shot demonstratie) varieert van 2K tot 50K. Onze benchmark vereist dat LLMs de volledige invoer begrijpen om de enorme labelruimtes te herkennen en correcte voorspellingen te maken. We evalueren 13 lang-context LLMs op onze benchmarks. We constateren dat de lang-context LLMs relatief goed presteren bij een tokenlengte van minder dan 20K en dat de prestaties profiteren van het gebruik van het lange contextvenster. Wanneer het contextvenster echter 20K overschrijdt, nemen de prestaties van de meeste LLMs, met uitzondering van GPT-4, dramatisch af. Dit suggereert een opmerkelijk gat in de huidige LLM-capaciteiten voor het verwerken en begrijpen van lange, contextrijke sequenties. Verdere analyse onthulde een tendens onder modellen om voorspellingen te geven voor labels die aan het einde van de sequentie worden gepresenteerd. Hun vermogen om over meerdere stukken in de lange sequentie te redeneren moet nog worden verbeterd. Onze studie toont aan dat lang contextbegrip en redeneren nog steeds een uitdagende taak is voor de bestaande LLMs. Wij geloven dat LIConBench een realistischer evaluatie kan bieden voor toekomstige lang-context LLMs.

English

Large Language Models (LLMs) have made significant strides in handling long sequences exceeding 32K tokens. However, their performance evaluation has largely been confined to metrics like perplexity and synthetic tasks, which may not fully capture their abilities in more nuanced, real-world scenarios. This study introduces a specialized benchmark (LIConBench) focusing on long in-context learning within the realm of extreme-label classification. We meticulously selected six datasets with a label range spanning 28 to 174 classes covering different input (few-shot demonstration) length from 2K to 50K. Our benchmark requires LLMs to comprehend the entire input to recognize the massive label spaces to make correct prediction. We evaluate 13 long-context LLMs on our benchmarks. We find that the long-context LLMs perform relatively well under the token length of 20K and the performance benefits from utilizing the long context window. However, after the context window exceeds 20K, most LLMs except GPT-4 will dip dramatically. This suggests a notable gap in current LLM capabilities for processing and understanding long, context-rich sequences. Further analysis revealed a tendency among models to favor predictions for labels presented towards the end at the sequence. Their ability to reason over multiple pieces in the long sequence is yet to be improved. Our study reveals that long context understanding and reasoning is still a challenging task for the existing LLMs. We believe LIConBench could serve as a more realistic evaluation for the future long context LLMs.