Selbstausrichtung durch Instruktions-Rückübersetzung
Self-Alignment with Instruction Backtranslation
August 11, 2023
Autoren: Xian Li, Ping Yu, Chunting Zhou, Timo Schick, Luke Zettlemoyer, Omer Levy, Jason Weston, Mike Lewis
cs.AI
Zusammenfassung
Wir präsentieren eine skalierbare Methode zur Entwicklung eines hochwertigen Sprachmodells, das Anweisungen befolgt, indem menschlich verfasste Texte automatisch mit entsprechenden Anweisungen versehen werden. Unser Ansatz, genannt Instruktions-Rückübersetzung, beginnt mit einem Sprachmodell, das auf einer kleinen Menge von Seed-Daten feinabgestimmt wurde, und einem gegebenen Webkorpus. Das Seed-Modell wird verwendet, um Trainingsbeispiele zu konstruieren, indem Anweisungsaufforderungen für Webdokumente generiert werden (Selbsterweiterung) und dann hochwertige Beispiele aus diesen Kandidaten ausgewählt werden (Selbstkuratierung). Diese Daten werden dann verwendet, um ein stärkeres Modell feinabzustimmen. Die Feinabstimmung von LLaMa über zwei Iterationen unseres Ansatzes ergibt ein Modell, das alle anderen LLaMa-basierten Modelle auf der Alpaca-Rangliste übertrifft, ohne auf Destillationsdaten zurückzugreifen, und demonstriert eine äußerst effektive Selbstausrichtung.
English
We present a scalable method to build a high quality instruction following
language model by automatically labelling human-written text with corresponding
instructions. Our approach, named instruction backtranslation, starts with a
language model finetuned on a small amount of seed data, and a given web
corpus. The seed model is used to construct training examples by generating
instruction prompts for web documents (self-augmentation), and then selecting
high quality examples from among these candidates (self-curation). This data is
then used to finetune a stronger model. Finetuning LLaMa on two iterations of
our approach yields a model that outperforms all other LLaMa-based models on
the Alpaca leaderboard not relying on distillation data, demonstrating highly
effective self-alignment.