자기 지시 학습으로의 전환: 최소한의 지시 튜닝을 위한 조기 중단 기준 도입

Becoming self-instruct: introducing early stopping criteria for minimal instruct tuning

July 5, 2023

저자: Waseem AlShikh, Manhal Daaboul, Kirk Goddard, Brock Imel, Kiran Kamble, Parikshith Kulkarni, Melisa Russak

cs.AI

초록

본 논문에서는 언어 모델의 지시 수행 능력을 감지하는 지표인 Instruction Following Score(IFS)를 소개한다. 이 지표는 두 가지 목적을 가지고 있다. 첫째, IFS는 기본 모델과 지시 모델을 구분하는 데 사용될 수 있다. 공개적으로 이용 가능한 기본 모델과 지시 모델을 벤치마킹하여, 잘 형식화된 응답과 부분적 또는 완전한 문장 간의 비율이 이 두 모델 클래스를 구분하는 효과적인 척도가 될 수 있음을 보여준다. 둘째, 이 지표는 지시 튜닝을 위한 조기 중단 기준으로 사용될 수 있다. 7B 및 13B LLaMA 모델의 지도 미세 조정(Supervised Fine-Tuning, SFT)에 대해 IFS를 계산한 결과, 모델이 훈련 과정 초기에 비교적 빠르게 지시를 수행하는 법을 배우며, 추가적인 미세 조정이 기본 모델의 의미론에 변화를 가져올 수 있음을 보여준다. 의미론적 변화의 예시로, 보조 지표인 ObjecQA로 정의된 모델 예측의 객관성을 제시한다. 이 특정 사례에서 의미론적 변화는 IFS가 정체기에 접어들 때 가장 급격하게 발생함을 보여준다. 지시 튜닝을 IFS와 의미론적 요소로 분해함으로써 더 나은 제어 가능한 지시 튜닝의 새로운 트렌드를 시작하고, 기반 모델을 쿼리하는 최소한의 지시 인터페이스 설계의 가능성을 열어주기를 기대한다.

English

In this paper, we introduce the Instruction Following Score (IFS), a metric that detects language models' ability to follow instructions. The metric has a dual purpose. First, IFS can be used to distinguish between base and instruct models. We benchmark publicly available base and instruct models, and show that the ratio of well formatted responses to partial and full sentences can be an effective measure between those two model classes. Secondly, the metric can be used as an early stopping criteria for instruct tuning. We compute IFS for Supervised Fine-Tuning (SFT) of 7B and 13B LLaMA models, showing that models learn to follow instructions relatively early in the training process, and the further finetuning can result in changes in the underlying base model semantics. As an example of semantics change we show the objectivity of model predictions, as defined by an auxiliary metric ObjecQA. We show that in this particular case, semantic changes are the steepest when the IFS tends to plateau. We hope that decomposing instruct tuning into IFS and semantic factors starts a new trend in better controllable instruct tuning and opens possibilities for designing minimal instruct interfaces querying foundation models.