CLASS-IT : Réglage par Instructions à Petite Échelle et Aligné sur la Conversation et les Cours Magistraux pour BabyLMs

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs

October 29, 2025

papers.authors: Luca Capone, Alessandro Bondielli, Alessandro Lenci

cs.AI

papers.abstract

Ce travail étudie si les petits modèles de langage peuvent bénéficier d'un réglage par instructions. Nous comparons des ensembles de données de réglage pour la conversation et le question-réponse, appliqués selon une approche fusionnée ou un curriculum séquentiel, sur des modèles décodeurs uniquement de 100 et 140 millions de paramètres. L'évaluation couvre à la fois des scénarios de fine-tuning (SuperGLUE) et de zero-shot (BLiMP, EWoK, WUGs, suivi d'entités et corrélation psycholinguistique). Les résultats montrent que le réglage par instructions procure des gains modestes mais constants dans les scénarios de fine-tuning, les curricula séquentiels surpassant les données fusionnées ; cependant, les améliorations ne se transfèrent pas systématiquement aux tâches zero-shot, suggérant un compromis entre l'adaptation centrée sur l'interaction et la généralisation linguistique large. Ces résultats soulignent à la fois le potentiel et les limites de l'adaptation des stratégies d'apprentissage inspirées de l'humain pour les modèles de langage à ressources limitées, et pointent vers des approches hybrides et curriculaires pour améliorer la généralisation sous des contraintes écologiques d'entraînement.

English

This work investigates whether small-scale LMs can benefit from instruction tuning. We compare conversational and question-answering instruction tuning datasets, applied either in a merged or sequential curriculum, using decoder-only models with 100M and 140M parameters. Evaluation spans both fine-tuning (SuperGLUE) and zero-shot (BLiMP, EWoK, WUGs, entity tracking, and psycholinguistic correlation) settings. Results show that instruction tuning yields small but consistent gains in fine-tuning scenarios, with sequential curricula outperforming merged data; however, improvements do not consistently transfer to zero-shot tasks, suggesting a trade-off between interaction-focused adaptation and broad linguistic generalization. These results highlight both the potential and the constraints of adapting human-inspired learning strategies to low-resource LMs, and point toward hybrid, curriculum-based approaches for enhancing generalization under ecological training limits.