Zelfuitlijning met instructie-terugvertaling
Self-Alignment with Instruction Backtranslation
August 11, 2023
Auteurs: Xian Li, Ping Yu, Chunting Zhou, Timo Schick, Luke Zettlemoyer, Omer Levy, Jason Weston, Mike Lewis
cs.AI
Samenvatting
We presenteren een schaalbare methode om een hoogwaardig taalmodel te bouwen dat instructies kan volgen, door mensgeschreven tekst automatisch te labelen met bijbehorende instructies. Onze aanpak, genaamd instructie-backtranslation, begint met een taalmodel dat is gefinetuned op een kleine hoeveelheid seed-data en een gegeven webcorpus. Het seed-model wordt gebruikt om trainingsvoorbeelden te construeren door instructieprompts te genereren voor webdocumenten (zelf-augmentatie), en vervolgens hoogwaardige voorbeelden te selecteren uit deze kandidaten (zelf-curatie). Deze data wordt vervolgens gebruikt om een sterker model te finetunen. Het finetunen van LLaMa op twee iteraties van onze aanpak resulteert in een model dat alle andere LLaMa-gebaseerde modellen overtreft op het Alpaca-leaderboard zonder gebruik te maken van distillatiedata, wat een zeer effectieve zelf-uitlijning aantoont.
English
We present a scalable method to build a high quality instruction following
language model by automatically labelling human-written text with corresponding
instructions. Our approach, named instruction backtranslation, starts with a
language model finetuned on a small amount of seed data, and a given web
corpus. The seed model is used to construct training examples by generating
instruction prompts for web documents (self-augmentation), and then selecting
high quality examples from among these candidates (self-curation). This data is
then used to finetune a stronger model. Finetuning LLaMa on two iterations of
our approach yields a model that outperforms all other LLaMa-based models on
the Alpaca leaderboard not relying on distillation data, demonstrating highly
effective self-alignment.