CLASS-IT: 幼児言語モデルのための会話・講義整合型小規模指示チューニング

要旨

本研究では、小規模言語モデルが指示チューニングの恩恵を受け得るかどうかを検証する。会話型と質問応答型の指示チューニングデータセットを統合方式と逐次カリキュラム方式で適用し、パラメータ数1億と1.4億のデコーダのみのモデルで比較した。評価はファインチューニング（SuperGLUE）とゼロショット（BLiMP、EWoK、WUGs、実体追跡、心理言語学的相関）の両設定で実施。結果は、指示チューニングがファインチューニングでは小幅ながら一貫した改善をもたらし、統合データより逐次カリキュラムが優位であることを示した。しかし、改善効果はゼロショット課題に一貫して転移せず、対話特化の適応と広範な言語一般化の間にトレードオフが存在することが示唆された。これらの知見は、人間の学習戦略を低リソース言語モデルに適用する際の可能性と限界を浮き彫りにするとともに、生態学的訓練制約下での一般化向上に向け、カリキュラムに基づくハイブリッド手法の有効性を示唆するものである。

English

This work investigates whether small-scale LMs can benefit from instruction tuning. We compare conversational and question-answering instruction tuning datasets, applied either in a merged or sequential curriculum, using decoder-only models with 100M and 140M parameters. Evaluation spans both fine-tuning (SuperGLUE) and zero-shot (BLiMP, EWoK, WUGs, entity tracking, and psycholinguistic correlation) settings. Results show that instruction tuning yields small but consistent gains in fine-tuning scenarios, with sequential curricula outperforming merged data; however, improvements do not consistently transfer to zero-shot tasks, suggesting a trade-off between interaction-focused adaptation and broad linguistic generalization. These results highlight both the potential and the constraints of adapting human-inspired learning strategies to low-resource LMs, and point toward hybrid, curriculum-based approaches for enhancing generalization under ecological training limits.

CLASS-IT: 幼児言語モデルのための会話・講義整合型小規模指示チューニング

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs

要旨

Support