CLASS-IT: Conversationale en Lezing-Gebonden Kleinschalige Instructieafstemming voor BabyLMs

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs

October 29, 2025

Auteurs: Luca Capone, Alessandro Bondielli, Alessandro Lenci

cs.AI

Samenvatting

Dit onderzoek onderzoekt of kleinschalige taalmodelle (LM's) kunnen profiteren van instructie-afstemming. We vergelijken conversatie- en vraag-antwoord-instructie-afstemmingsdatasets, toegepast in een samengevoegde of sequentiële curriculumopzet, met decoder-only modellen van 100M en 140M parameters. Evaluatie beslaat zowel fine-tuning (SuperGLUE) als zero-shot (BLiMP, EWoK, WUGs, entiteit-tracking en psycholinguïstische correlatie) scenario's. Resultaten tonen aan dat instructie-afstemming kleine maar consistente verbeteringen oplevert in fine-tuning-scenario's, waarbij sequentiële curricula beter presteren dan samengevoegde data; verbeteringen zetten zich echter niet consistent door naar zero-shot-taken, wat wijst op een afweging tussen interactiegerichte aanpassing en brede linguïstische generalisatie. Deze resultaten belichten zowel de mogelijkheden als de beperkingen van het toepassen van mens-geïnspireerde leerstrategieën op LM's met beperkte resources, en wijzen op hybride, curriculum-gebaseerde benaderingen voor het verbeteren van generalisatie binnen ecologische trainingslimieten.

English

This work investigates whether small-scale LMs can benefit from instruction tuning. We compare conversational and question-answering instruction tuning datasets, applied either in a merged or sequential curriculum, using decoder-only models with 100M and 140M parameters. Evaluation spans both fine-tuning (SuperGLUE) and zero-shot (BLiMP, EWoK, WUGs, entity tracking, and psycholinguistic correlation) settings. Results show that instruction tuning yields small but consistent gains in fine-tuning scenarios, with sequential curricula outperforming merged data; however, improvements do not consistently transfer to zero-shot tasks, suggesting a trade-off between interaction-focused adaptation and broad linguistic generalization. These results highlight both the potential and the constraints of adapting human-inspired learning strategies to low-resource LMs, and point toward hybrid, curriculum-based approaches for enhancing generalization under ecological training limits.