CLASS-IT: Ajuste de Instrucción a Pequeña Escala Alineado con Conversaciones y Conferencias para BabyLMs

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs

October 29, 2025

Autores: Luca Capone, Alessandro Bondielli, Alessandro Lenci

cs.AI

Resumen

Este trabajo investiga si los modelos lingüísticos de pequeña escala pueden beneficiarse del ajuste por instrucciones. Comparamos conjuntos de datos de ajuste para conversación y respuesta a preguntas, aplicados mediante un currículo fusionado o secuencial, utilizando modelos de solo decodificador con 100 y 140 millones de parámetros. La evaluación abarca escenarios de ajuste fino (SuperGLUE) y de cero disparos (BLiMP, EWoK, WUGs, seguimiento de entidades y correlación psicolingüística). Los resultados muestran que el ajuste por instrucciones produce ganancias pequeñas pero consistentes en escenarios de ajuste fino, con currículos secuenciales superando a los datos fusionados; sin embargo, las mejoras no se transfieren consistentemente a tareas de cero disparos, lo que sugiere una disyuntiva entre la adaptación centrada en la interacción y la generalización lingüística amplia. Estos resultados destacan tanto el potencial como las limitaciones de adaptar estrategias de aprendizaje inspiradas en humanos a modelos lingüísticos de bajos recursos, y apuntan hacia enfoques híbridos basados en currículos para mejorar la generalización bajo límites de entrenamiento ecológicos.

English

This work investigates whether small-scale LMs can benefit from instruction tuning. We compare conversational and question-answering instruction tuning datasets, applied either in a merged or sequential curriculum, using decoder-only models with 100M and 140M parameters. Evaluation spans both fine-tuning (SuperGLUE) and zero-shot (BLiMP, EWoK, WUGs, entity tracking, and psycholinguistic correlation) settings. Results show that instruction tuning yields small but consistent gains in fine-tuning scenarios, with sequential curricula outperforming merged data; however, improvements do not consistently transfer to zero-shot tasks, suggesting a trade-off between interaction-focused adaptation and broad linguistic generalization. These results highlight both the potential and the constraints of adapting human-inspired learning strategies to low-resource LMs, and point toward hybrid, curriculum-based approaches for enhancing generalization under ecological training limits.