Het kwantificeren van generalisatiecomplexiteit voor grote taalmodellen.

Quantifying Generalization Complexity for Large Language Models

October 2, 2024

Auteurs: Zhenting Qi, Hongyin Luo, Xuliang Huang, Zhuokai Zhao, Yibo Jiang, Xiangjun Fan, Himabindu Lakkaraju, James Glass

cs.AI

Samenvatting

Hoewel grote taalmodellen (LLM's) uitzonderlijke capaciteiten hebben getoond in het begrijpen van complexe vragen en het uitvoeren van geavanceerde taken, zijn hun generalisatievermogens vaak diep verweven met memorisatie, wat een nauwkeurigere evaluatie noodzakelijk maakt. Om deze uitdaging aan te pakken, introduceren we Scylla, een dynamisch evaluatiekader dat kwantitatief de generalisatievermogens van LLM's meet. Scylla ontwart generalisatie van memorisatie door de modelprestaties te beoordelen op zowel in-distributie (ID) als out-of-distributie (OOD) gegevens via 20 taken over 5 niveaus van complexiteit. Via uitgebreide experimenten onthullen we een niet-monotone relatie tussen taakcomplexiteit en het prestatieverschil tussen ID- en OOD-gegevens, wat we de generalisatievallei noemen. Specifiek onthult dit fenomeen een kritische drempel - aangeduid als kritische complexiteit - waarop de afhankelijkheid van niet-generaliseerbaar gedrag piekt, wat het bovengrens aangeeft van de generalisatievermogens van LLM's. Naarmate de modelgrootte toeneemt, verschuift de kritische complexiteit naar hogere niveaus van taakcomplexiteit, wat suggereert dat grotere modellen meer complexe redeneertaken aankunnen voordat ze te veel vertrouwen op memorisatie. Door gebruik te maken van Scylla en het concept van kritische complexiteit, benchmarken we 28LLM's, waaronder zowel open-source modellen zoals LLaMA en Qwen families, en closed-source modellen zoals Claude en GPT, wat zorgt voor een robuustere evaluatie en het vestigen van een duidelijker begrip van de generalisatievermogens van LLM's.

English

While large language models (LLMs) have shown exceptional capabilities in understanding complex queries and performing sophisticated tasks, their generalization abilities are often deeply entangled with memorization, necessitating more precise evaluation. To address this challenge, we introduce Scylla, a dynamic evaluation framework that quantitatively measures the generalization abilities of LLMs. Scylla disentangles generalization from memorization via assessing model performance on both in-distribution (ID) and out-of-distribution (OOD) data through 20 tasks across 5 levels of complexity. Through extensive experiments, we uncover a non-monotonic relationship between task complexity and the performance gap between ID and OOD data, which we term the generalization valley. Specifically, this phenomenon reveals a critical threshold - referred to as critical complexity - where reliance on non-generalizable behavior peaks, indicating the upper bound of LLMs' generalization capabilities. As model size increases, the critical complexity shifts toward higher levels of task complexity, suggesting that larger models can handle more complex reasoning tasks before over-relying on memorization. Leveraging Scylla and the concept of critical complexity, we benchmark 28LLMs including both open-sourced models such as LLaMA and Qwen families, and close-sourced models like Claude and GPT, providing a more robust evaluation and establishing a clearer understanding of LLMs' generalization capabilities.