CLASS-IT: Ajuste de Instrução em Pequena Escala Alinhado a Conversas e Aulas para o BabyLMs

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs

October 29, 2025

Autores: Luca Capone, Alessandro Bondielli, Alessandro Lenci

cs.AI

Resumo

Este trabalho investiga se modelos de linguagem de pequena escala podem beneficiar-se do ajuste por instrução. Comparamos conjuntos de dados de ajuste para instrução conversacional e de resposta a perguntas, aplicados em um currículo mesclado ou sequencial, utilizando modelos _decoder-only_ com 100 e 140 milhões de parâmetros. A avaliação abrange cenários de ajuste fino (SuperGLUE) e _zero-shot_ (BLiMP, EWoK, WUGs, rastreamento de entidades e correlação psicolinguística). Os resultados mostram que o ajuste por instrução produz ganhos pequenos, porém consistentes, em cenários de ajuste fino, com currículos sequenciais superando os dados mesclados; no entanto, as melhorias não se transferem consistentemente para tarefas _zero-shot_, sugerindo uma compensação entre a adaptação focada na interação e a generalização linguística ampla. Esses resultados destacam tanto o potencial quanto as limitações da adaptação de estratégias de aprendizagem inspiradas no humano para modelos de linguagem de baixo recurso, e apontam para abordagens híbridas e baseadas em currículo para melhorar a generalização sob limites ecológicos de treinamento.

English

This work investigates whether small-scale LMs can benefit from instruction tuning. We compare conversational and question-answering instruction tuning datasets, applied either in a merged or sequential curriculum, using decoder-only models with 100M and 140M parameters. Evaluation spans both fine-tuning (SuperGLUE) and zero-shot (BLiMP, EWoK, WUGs, entity tracking, and psycholinguistic correlation) settings. Results show that instruction tuning yields small but consistent gains in fine-tuning scenarios, with sequential curricula outperforming merged data; however, improvements do not consistently transfer to zero-shot tasks, suggesting a trade-off between interaction-focused adaptation and broad linguistic generalization. These results highlight both the potential and the constraints of adapting human-inspired learning strategies to low-resource LMs, and point toward hybrid, curriculum-based approaches for enhancing generalization under ecological training limits.