CLASS-IT: Addestramento su Istruzioni su Piccola Scala Allineato alla Conversazione e alla Lezione per BabyLMs

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs

October 29, 2025

Autori: Luca Capone, Alessandro Bondielli, Alessandro Lenci

cs.AI

Abstract

Questo lavoro indaga se i modelli linguistici di piccola scala possano trarre vantaggio dall'instruction tuning. Confrontiamo dataset di instruction tuning per conversazione e question-answering, applicati secondo un curriculum sia fuso che sequenziale, utilizzando modelli decoder-only con 100 e 140 milioni di parametri. La valutazione copre sia scenari di fine-tuning (SuperGLUE) che zero-shot (BLiMP, EWoK, WUGs, entity tracking e correlazione psicolinguistica). I risultati mostrano che l'instruction tuning produce piccoli ma consistenti miglioramenti negli scenari di fine-tuning, con curricula sequenziali che superano i dati fusi; tuttavia, i miglioramenti non si trasferiscono in modo coerente ai task zero-shot, suggerendo un compromesso tra un'adattamento focalizzato sull'interazione e un'ampia generalizzazione linguistica. Questi risultati evidenziano sia il potenziale che i limiti dell'adattamento di strategie di apprendimento ispirate all'uomo a modelli linguistici a risorse limitate, e indicano approcci ibridi basati su curriculum per migliorare la generalizzazione sotto vincoli di addestramento ecologici.

English

This work investigates whether small-scale LMs can benefit from instruction tuning. We compare conversational and question-answering instruction tuning datasets, applied either in a merged or sequential curriculum, using decoder-only models with 100M and 140M parameters. Evaluation spans both fine-tuning (SuperGLUE) and zero-shot (BLiMP, EWoK, WUGs, entity tracking, and psycholinguistic correlation) settings. Results show that instruction tuning yields small but consistent gains in fine-tuning scenarios, with sequential curricula outperforming merged data; however, improvements do not consistently transfer to zero-shot tasks, suggesting a trade-off between interaction-focused adaptation and broad linguistic generalization. These results highlight both the potential and the constraints of adapting human-inspired learning strategies to low-resource LMs, and point toward hybrid, curriculum-based approaches for enhancing generalization under ecological training limits.