Самостоятельное выравнивание с помощью обратного перевода инструкций
Self-Alignment with Instruction Backtranslation
August 11, 2023
Авторы: Xian Li, Ping Yu, Chunting Zhou, Timo Schick, Luke Zettlemoyer, Omer Levy, Jason Weston, Mike Lewis
cs.AI
Аннотация
Мы представляем масштабируемый метод создания высококачественной языковой модели, способной следовать инструкциям, путем автоматической разметки текстов, написанных человеком, соответствующими инструкциями. Наш подход, названный обратным переводом инструкций, начинается с языковой модели, дообученной на небольшом объеме начальных данных, и заданного веб-корпуса. Начальная модель используется для создания обучающих примеров путем генерации инструкций для веб-документов (самоаугментация) и последующего отбора высококачественных примеров из этих кандидатов (самокурация). Эти данные затем используются для дообучения более мощной модели. Дообучение модели LLaMa на двух итерациях нашего подхода позволяет получить модель, которая превосходит все другие модели на основе LLaMa в рейтинге Alpaca, не полагаясь на данные дистилляции, демонстрируя высокоэффективное самонастраивание.
English
We present a scalable method to build a high quality instruction following
language model by automatically labelling human-written text with corresponding
instructions. Our approach, named instruction backtranslation, starts with a
language model finetuned on a small amount of seed data, and a given web
corpus. The seed model is used to construct training examples by generating
instruction prompts for web documents (self-augmentation), and then selecting
high quality examples from among these candidates (self-curation). This data is
then used to finetune a stronger model. Finetuning LLaMa on two iterations of
our approach yields a model that outperforms all other LLaMa-based models on
the Alpaca leaderboard not relying on distillation data, demonstrating highly
effective self-alignment.