Opnieuw bezien van generalisatie over moeilijkheidsgraden: het is niet zo eenvoudig

Revisiting Generalization Across Difficulty Levels: It's Not So Easy

November 26, 2025

Auteurs: Yeganeh Kordi, Nihal V. Nayak, Max Zuo, Ilana Nguyen, Stephen H. Bach

cs.AI

Samenvatting

Wij onderzoeken in hoeverre grote taalmodellen (LLM's) generaliseren over verschillende niveaus van taakmoeilijkheid, een kernvraag voor effectieve datacuratie en evaluatie. Bestaand onderzoek toont tegenstrijdige resultaten over de vraag of training met gemakkelijkere of moeilijkere data tot betere resultaten leidt, en of die winst zich voordoet bij gemakkelijkere of moeilijkere testdata. Wij pakken deze vraag aan door een systematische evaluatie uit te voeren van de generalisatie van LLM's over modellen, datasets en fijnmazige groepen van voorbeelden met verschillende moeilijkheidsgraden. Wij rangschikken voorbeelden in zes datasets met behulp van de output van duizenden verschillende LLM's en Item Response Theory (IRT), een gevestigde moeilijkheidsmaatstaf in onderwijsonderzoek. In tegenstelling tot eerder werk worden onze moeilijkheidsclassificaties dus uitsluitend bepaald door de capaciteiten van vele verschillende LLM's, waarbij menselijke opvattingen over moeilijkheid worden uitgesloten. Met een meer objectieve, grootschaligere en fijnmazigere analyse tonen wij aan dat generalisatie over moeilijkheidsniveaus vaak beperkt is; training met ofwel gemakkelijke ofwel moeilijke data kan geen consistente verbeteringen over het volledige moeilijkheidsspectrum bereiken. Deze resultaten tonen het belang aan van een reeks moeilijkheidsgraden in zowel trainings- als evaluatiedata voor LLM's, en dat het nemen van shortcuts met betrekking tot moeilijkheid riskant is.

English

We investigate how well large language models (LLMs) generalize across different task difficulties, a key question for effective data curation and evaluation. Existing research is mixed regarding whether training on easier or harder data leads to better results, and whether those gains come on easier or harder test data. We address this question by conducting a systematic evaluation of LLMs' generalization across models, datasets, and fine-grained groups of example difficulty. We rank examples in six datasets using the outputs of thousands of different LLMs and Item Response Theory (IRT), a well-established difficulty metric in educational testing. Unlike prior work, our difficulty ratings are therefore determined solely by the abilities of many different LLMs, excluding human opinions of difficulty. With a more objective, larger-scale, and finer-grained analysis, we show that cross-difficulty generalization is often limited; training on either easy or hard data cannot achieve consistent improvements across the full range of difficulties. These results show the importance of having a range of difficulties in both training and evaluation data for LLMs, and that taking shortcuts with respect to difficulty is risky.