Auto-alignement par rétro-traduction d'instructions
Self-Alignment with Instruction Backtranslation
August 11, 2023
Auteurs: Xian Li, Ping Yu, Chunting Zhou, Timo Schick, Luke Zettlemoyer, Omer Levy, Jason Weston, Mike Lewis
cs.AI
Résumé
Nous présentons une méthode évolutive pour construire un modèle de langage de haute qualité capable de suivre des instructions, en annotant automatiquement des textes rédigés par des humains avec les instructions correspondantes. Notre approche, nommée rétro-traduction d'instructions, commence avec un modèle de langage affiné sur une petite quantité de données initiales, ainsi qu'un corpus web donné. Le modèle initial est utilisé pour construire des exemples d'entraînement en générant des invites d'instructions pour des documents web (auto-augmentation), puis en sélectionnant des exemples de haute qualité parmi ces candidats (auto-curation). Ces données sont ensuite utilisées pour affiner un modèle plus performant. L'affinement de LLaMa sur deux itérations de notre approche produit un modèle qui surpasse tous les autres modèles basés sur LLaMa dans le classement Alpaca sans recourir à des données de distillation, démontrant ainsi une auto-alignement hautement efficace.
English
We present a scalable method to build a high quality instruction following
language model by automatically labelling human-written text with corresponding
instructions. Our approach, named instruction backtranslation, starts with a
language model finetuned on a small amount of seed data, and a given web
corpus. The seed model is used to construct training examples by generating
instruction prompts for web documents (self-augmentation), and then selecting
high quality examples from among these candidates (self-curation). This data is
then used to finetune a stronger model. Finetuning LLaMa on two iterations of
our approach yields a model that outperforms all other LLaMa-based models on
the Alpaca leaderboard not relying on distillation data, demonstrating highly
effective self-alignment.