自己指導型モデルへの進化：最小限の指示チューニングのための早期停止基準の導入

要旨

本論文では、言語モデルの指示追従能力を検出する指標として、Instruction Following Score (IFS)を提案する。この指標には二つの目的がある。第一に、IFSはベースモデルと指示チューニング済みモデルを区別するために使用できる。公開されているベースモデルと指示チューニング済みモデルをベンチマークし、適切にフォーマットされた応答と部分的な文または完全な文の比率が、これら二つのモデルクラスを効果的に区別する尺度となることを示す。第二に、この指標は指示チューニングの早期停止基準として利用できる。7Bおよび13BのLLaMAモデルの教師ありファインチューニング(SFT)におけるIFSを計算し、モデルが訓練プロセスの比較的早い段階で指示を追従することを学習し、さらにファインチューニングを進めると基盤となるベースモデルの意味論が変化する可能性があることを示す。意味論の変化の一例として、補助指標ObjecQAで定義されるモデル予測の客観性を示す。この特定のケースでは、IFSがプラトーに達し始める時期に意味論の変化が最も急激に起こることを示す。指示チューニングをIFSと意味論的要因に分解することで、より制御可能な指示チューニングの新たな潮流が生まれ、基盤モデルに問い合わせる最小限の指示インターフェースを設計する可能性が開かれることを期待する。

English

In this paper, we introduce the Instruction Following Score (IFS), a metric that detects language models' ability to follow instructions. The metric has a dual purpose. First, IFS can be used to distinguish between base and instruct models. We benchmark publicly available base and instruct models, and show that the ratio of well formatted responses to partial and full sentences can be an effective measure between those two model classes. Secondly, the metric can be used as an early stopping criteria for instruct tuning. We compute IFS for Supervised Fine-Tuning (SFT) of 7B and 13B LLaMA models, showing that models learn to follow instructions relatively early in the training process, and the further finetuning can result in changes in the underlying base model semantics. As an example of semantics change we show the objectivity of model predictions, as defined by an auxiliary metric ObjecQA. We show that in this particular case, semantic changes are the steepest when the IFS tends to plateau. We hope that decomposing instruct tuning into IFS and semantic factors starts a new trend in better controllable instruct tuning and opens possibilities for designing minimal instruct interfaces querying foundation models.

自己指導型モデルへの進化：最小限の指示チューニングのための早期停止基準の導入

Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning

要旨

Support