Riconsiderare la generalizzazione tra i livelli di difficoltà: non è così semplice

Revisiting Generalization Across Difficulty Levels: It's Not So Easy

November 26, 2025

Autori: Yeganeh Kordi, Nihal V. Nayak, Max Zuo, Ilana Nguyen, Stephen H. Bach

cs.AI

Abstract

Investigiamo la capacità dei grandi modelli linguistici (LLM) di generalizzare attraverso diversi livelli di difficoltà dei compiti, una questione chiave per una efficace curatela e valutazione dei dati. La ricerca esistente fornisce risultati contrastanti riguardo al fatto che l'addestramento su dati più facili o più difficili porti a risultati migliori, e se tali miglioramenti si manifestino su dati di test più facili o più difficili. Affrontiamo questa questione conducendo una valutazione sistematica della generalizzazione degli LLM attraverso modelli, dataset e gruppi granulari di esempi classificati per difficoltà. Classifichiamo gli esempi in sei dataset utilizzando gli output di migliaia di LLM diversi e la Teoria della Risposta all'Item (IRT), una metrica di difficoltà consolidata nel campo della valutazione educativa. A differenza dei lavori precedenti, le nostre valutazioni di difficoltà sono quindi determinate esclusivamente dalle capacità di molti LLM diversi, escludendo le opinioni umane sulla difficoltà. Con un'analisi più oggettiva, su larga scala e a grana fine, dimostriamo che la generalizzazione trasversale alla difficoltà è spesso limitata; l'addestramento su dati facili o difficili non può ottenere miglioramenti consistenti sull'intera gamma di difficoltà. Questi risultati evidenziano l'importanza di disporre di una gamma di difficoltà sia nei dati di addestramento che in quelli di valutazione per gli LLM, e che prendere scorciatoie riguardo alla difficoltà è rischioso.

English

We investigate how well large language models (LLMs) generalize across different task difficulties, a key question for effective data curation and evaluation. Existing research is mixed regarding whether training on easier or harder data leads to better results, and whether those gains come on easier or harder test data. We address this question by conducting a systematic evaluation of LLMs' generalization across models, datasets, and fine-grained groups of example difficulty. We rank examples in six datasets using the outputs of thousands of different LLMs and Item Response Theory (IRT), a well-established difficulty metric in educational testing. Unlike prior work, our difficulty ratings are therefore determined solely by the abilities of many different LLMs, excluding human opinions of difficulty. With a more objective, larger-scale, and finer-grained analysis, we show that cross-difficulty generalization is often limited; training on either easy or hard data cannot achieve consistent improvements across the full range of difficulties. These results show the importance of having a range of difficulties in both training and evaluation data for LLMs, and that taking shortcuts with respect to difficulty is risky.