Quantificação da Complexidade de Generalização para Modelos de Linguagem Grandes

Quantifying Generalization Complexity for Large Language Models

October 2, 2024

Autores: Zhenting Qi, Hongyin Luo, Xuliang Huang, Zhuokai Zhao, Yibo Jiang, Xiangjun Fan, Himabindu Lakkaraju, James Glass

cs.AI

Resumo

Embora os grandes modelos de linguagem (LLMs) tenham demonstrado capacidades excepcionais em compreender consultas complexas e realizar tarefas sofisticadas, suas habilidades de generalização frequentemente estão profundamente ligadas à memorização, exigindo uma avaliação mais precisa. Para enfrentar esse desafio, apresentamos o Scylla, um framework de avaliação dinâmica que mede quantitativamente as habilidades de generalização dos LLMs. O Scylla desembaraça a generalização da memorização ao avaliar o desempenho do modelo tanto em dados de distribuição (ID) quanto em dados fora da distribuição (OOD) por meio de 20 tarefas em 5 níveis de complexidade. Através de experimentos extensivos, descobrimos uma relação não monótona entre a complexidade da tarefa e a diferença de desempenho entre dados ID e OOD, que chamamos de vale da generalização. Especificamente, esse fenômeno revela um limiar crítico - denominado complexidade crítica - onde a dependência de comportamentos não generalizáveis atinge o pico, indicando o limite das capacidades de generalização dos LLMs. Conforme o tamanho do modelo aumenta, a complexidade crítica se desloca para níveis mais altos de complexidade da tarefa, sugerindo que modelos maiores podem lidar com tarefas de raciocínio mais complexas antes de dependerem excessivamente da memorização. Aproveitando o Scylla e o conceito de complexidade crítica, avaliamos 28 LLMs, incluindo modelos de código aberto como as famílias LLaMA e Qwen, e modelos de código fechado como Claude e GPT, fornecendo uma avaliação mais robusta e estabelecendo uma compreensão mais clara das capacidades de generalização dos LLMs.

English

While large language models (LLMs) have shown exceptional capabilities in understanding complex queries and performing sophisticated tasks, their generalization abilities are often deeply entangled with memorization, necessitating more precise evaluation. To address this challenge, we introduce Scylla, a dynamic evaluation framework that quantitatively measures the generalization abilities of LLMs. Scylla disentangles generalization from memorization via assessing model performance on both in-distribution (ID) and out-of-distribution (OOD) data through 20 tasks across 5 levels of complexity. Through extensive experiments, we uncover a non-monotonic relationship between task complexity and the performance gap between ID and OOD data, which we term the generalization valley. Specifically, this phenomenon reveals a critical threshold - referred to as critical complexity - where reliance on non-generalizable behavior peaks, indicating the upper bound of LLMs' generalization capabilities. As model size increases, the critical complexity shifts toward higher levels of task complexity, suggesting that larger models can handle more complex reasoning tasks before over-relying on memorization. Leveraging Scylla and the concept of critical complexity, we benchmark 28LLMs including both open-sourced models such as LLaMA and Qwen families, and close-sourced models like Claude and GPT, providing a more robust evaluation and establishing a clearer understanding of LLMs' generalization capabilities.