Quantifizierung der Generalisierungskomplexität für große Sprachmodelle

Quantifying Generalization Complexity for Large Language Models

October 2, 2024

Autoren: Zhenting Qi, Hongyin Luo, Xuliang Huang, Zhuokai Zhao, Yibo Jiang, Xiangjun Fan, Himabindu Lakkaraju, James Glass

cs.AI

Zusammenfassung

Obwohl große Sprachmodelle (LLMs) außergewöhnliche Fähigkeiten bei der Verarbeitung komplexer Anfragen und der Durchführung anspruchsvoller Aufgaben gezeigt haben, sind ihre Verallgemeinerungsfähigkeiten oft eng mit dem Memorieren verflochten, was eine präzisere Bewertung erforderlich macht. Um diese Herausforderung anzugehen, stellen wir Scylla vor, ein dynamisches Bewertungsframework, das die Verallgemeinerungsfähigkeiten von LLMs quantitativ misst. Scylla entwirrt Verallgemeinerung von Memorierung, indem es die Leistung des Modells sowohl auf In-Distributions- (ID) als auch auf Out-of-Distributionsdaten (OOD) durch 20 Aufgaben über 5 Komplexitätsstufen hinweg bewertet. Durch umfangreiche Experimente decken wir eine nicht-monotone Beziehung zwischen Aufgabenkomplexität und der Leistungsdifferenz zwischen ID- und OOD-Daten auf, die wir als das Verallgemeinerungstal bezeichnen. Insbesondere zeigt dieses Phänomen eine kritische Schwelle - als kritische Komplexität bezeichnet - an, an der die Abhängigkeit von nicht verallgemeinerbaren Verhaltensweisen ihren Höhepunkt erreicht und die obere Grenze der Verallgemeinerungsfähigkeiten von LLMs anzeigt. Mit zunehmender Modellgröße verschiebt sich die kritische Komplexität in Richtung höherer Aufgabenkomplexität, was darauf hindeutet, dass größere Modelle komplexere Denkaufgaben bewältigen können, bevor sie übermäßig auf das Memorieren angewiesen sind. Durch die Nutzung von Scylla und des Konzepts der kritischen Komplexität bewerten wir 28 LLMs, darunter sowohl Open-Source-Modelle wie LLaMA und Qwen-Familien als auch Closed-Source-Modelle wie Claude und GPT, um eine robustere Bewertung zu ermöglichen und ein klareres Verständnis der Verallgemeinerungsfähigkeiten von LLMs zu etablieren.

English

While large language models (LLMs) have shown exceptional capabilities in understanding complex queries and performing sophisticated tasks, their generalization abilities are often deeply entangled with memorization, necessitating more precise evaluation. To address this challenge, we introduce Scylla, a dynamic evaluation framework that quantitatively measures the generalization abilities of LLMs. Scylla disentangles generalization from memorization via assessing model performance on both in-distribution (ID) and out-of-distribution (OOD) data through 20 tasks across 5 levels of complexity. Through extensive experiments, we uncover a non-monotonic relationship between task complexity and the performance gap between ID and OOD data, which we term the generalization valley. Specifically, this phenomenon reveals a critical threshold - referred to as critical complexity - where reliance on non-generalizable behavior peaks, indicating the upper bound of LLMs' generalization capabilities. As model size increases, the critical complexity shifts toward higher levels of task complexity, suggesting that larger models can handle more complex reasoning tasks before over-relying on memorization. Leveraging Scylla and the concept of critical complexity, we benchmark 28LLMs including both open-sourced models such as LLaMA and Qwen families, and close-sourced models like Claude and GPT, providing a more robust evaluation and establishing a clearer understanding of LLMs' generalization capabilities.