Revisiter la généralisation à travers les niveaux de difficulté : ce n'est pas si simple

Revisiting Generalization Across Difficulty Levels: It's Not So Easy

November 26, 2025

papers.authors: Yeganeh Kordi, Nihal V. Nayak, Max Zuo, Ilana Nguyen, Stephen H. Bach

cs.AI

papers.abstract

Nous étudions dans quelle mesure les grands modèles de langage (LLM) généralisent à travers différentes difficultés de tâches, une question clé pour une curation et une évaluation efficaces des données. Les recherches existantes présentent des résultats mitigés quant à savoir si l'entraînement sur des données faciles ou difficiles produit de meilleurs résultats, et si ces gains se manifestent sur des données de test faciles ou difficiles. Nous abordons cette question en réalisant une évaluation systématique de la généralisation des LLM à travers les modèles, les jeux de données et des groupes granulaires d'exemples classés par difficulté. Nous classons les exemples de six jeux de données en utilisant les sorties de milliers de LLM différents et la théorie de réponse à l'item (TRI), une métrique de difficulté bien établie dans le domaine du testing éducatif. Contrairement aux travaux antérieurs, nos évaluations de difficulté sont donc déterminées uniquement par les capacités de nombreux LLM différents, excluant les opinions humaines sur la difficulté. Grâce à une analyse plus objective, à plus grande échelle et plus granulaire, nous montrons que la généralisation trans-difficulté est souvent limitée ; l'entraînement sur des données faciles ou difficiles ne permet pas d'obtenir des améliorations constantes sur l'ensemble du spectre des difficultés. Ces résultats démontrent l'importance d'inclure une gamme de difficultés à la fois dans les données d'entraînement et d'évaluation pour les LLM, et que chercher des raccourcis concernant la difficulté est risqué.

English

We investigate how well large language models (LLMs) generalize across different task difficulties, a key question for effective data curation and evaluation. Existing research is mixed regarding whether training on easier or harder data leads to better results, and whether those gains come on easier or harder test data. We address this question by conducting a systematic evaluation of LLMs' generalization across models, datasets, and fine-grained groups of example difficulty. We rank examples in six datasets using the outputs of thousands of different LLMs and Item Response Theory (IRT), a well-established difficulty metric in educational testing. Unlike prior work, our difficulty ratings are therefore determined solely by the abilities of many different LLMs, excluding human opinions of difficulty. With a more objective, larger-scale, and finer-grained analysis, we show that cross-difficulty generalization is often limited; training on either easy or hard data cannot achieve consistent improvements across the full range of difficulties. These results show the importance of having a range of difficulties in both training and evaluation data for LLMs, and that taking shortcuts with respect to difficulty is risky.