CLASS-IT: Диалоговая и лекционно-ориентированная тонкая настройка инструкций для BabyLMs в малых масштабах

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs

October 29, 2025

Авторы: Luca Capone, Alessandro Bondielli, Alessandro Lenci

cs.AI

Аннотация

В данной работе исследуется, могут ли небольшие языковые модели получить преимущества от инструктивного тонкого настройки. Мы сравниваем наборы данных для инструктивной настройки в формате диалога и вопросно-ответных задач, применяемые либо в объединенном, либо в последовательном (учебном) режиме, на декодерных моделях с 100 и 140 миллионами параметров. Оценка проводится в условиях как тонкой настройки (SuperGLUE), так и zero-shot режима (BLiMP, EWoK, WUGs, отслеживание сущностей и психолингвистическая корреляция). Результаты показывают, что инструктивная настройка дает небольшой, но стабильный выигрыш в сценариях тонкой настройки, причем последовательные учебные планы превосходят объединенные данные; однако улучшения не всегда переносятся на zero-shot задачи, что указывает на компромисс между адаптацией, ориентированной на взаимодействие, и широкой лингвистической обобщающей способностью. Эти результаты подчеркивают как потенциал, так и ограничения адаптации человеко-ориентированных стратегий обучения для малоресурсных языковых моделей и указывают на перспективность гибридных учебных подходов для улучшения обобщающей способности в условиях экологических ограничений обучения.

English

This work investigates whether small-scale LMs can benefit from instruction tuning. We compare conversational and question-answering instruction tuning datasets, applied either in a merged or sequential curriculum, using decoder-only models with 100M and 140M parameters. Evaluation spans both fine-tuning (SuperGLUE) and zero-shot (BLiMP, EWoK, WUGs, entity tracking, and psycholinguistic correlation) settings. Results show that instruction tuning yields small but consistent gains in fine-tuning scenarios, with sequential curricula outperforming merged data; however, improvements do not consistently transfer to zero-shot tasks, suggesting a trade-off between interaction-focused adaptation and broad linguistic generalization. These results highlight both the potential and the constraints of adapting human-inspired learning strategies to low-resource LMs, and point toward hybrid, curriculum-based approaches for enhancing generalization under ecological training limits.