명령어 역번역을 통한 자기 정렬

초록

우리는 인간이 작성한 텍스트에 해당하는 지시문을 자동으로 레이블링하여 고품질의 지시문 수행 언어 모델을 구축하는 확장 가능한 방법을 제안합니다. 우리의 접근 방식인 '지시문 역번역(instruction backtranslation)'은 소량의 시드 데이터로 미세 조정된 언어 모델과 주어진 웹 코퍼스로 시작합니다. 시드 모델은 웹 문서에 대한 지시문 프롬프트를 생성하여(자기 증강) 훈련 예제를 구성한 후, 이러한 후보들 중에서 고품질의 예제를 선택합니다(자기 큐레이션). 이 데이터는 더 강력한 모델을 미세 조정하는 데 사용됩니다. LLaMa 모델을 우리의 접근 방식으로 두 번 반복하여 미세 조정한 결과, 증류 데이터에 의존하지 않고도 Alpaca 리더보드에서 다른 모든 LLaMa 기반 모델을 능가하는 모델을 얻었으며, 이는 매우 효과적인 자기 정렬(self-alignment)을 보여줍니다.

English

We present a scalable method to build a high quality instruction following language model by automatically labelling human-written text with corresponding instructions. Our approach, named instruction backtranslation, starts with a language model finetuned on a small amount of seed data, and a given web corpus. The seed model is used to construct training examples by generating instruction prompts for web documents (self-augmentation), and then selecting high quality examples from among these candidates (self-curation). This data is then used to finetune a stronger model. Finetuning LLaMa on two iterations of our approach yields a model that outperforms all other LLaMa-based models on the Alpaca leaderboard not relying on distillation data, demonstrating highly effective self-alignment.

명령어 역번역을 통한 자기 정렬

Self-Alignment with Instruction Backtranslation

초록

Support