Autoalinhamento com Retro-tradução de Instruções
Self-Alignment with Instruction Backtranslation
August 11, 2023
Autores: Xian Li, Ping Yu, Chunting Zhou, Timo Schick, Luke Zettlemoyer, Omer Levy, Jason Weston, Mike Lewis
cs.AI
Resumo
Apresentamos um método escalável para construir um modelo de linguagem de alta qualidade que segue instruções, rotulando automaticamente textos escritos por humanos com as instruções correspondentes. Nossa abordagem, denominada retro-tradução de instruções, começa com um modelo de linguagem ajustado em uma pequena quantidade de dados iniciais e um corpus da web fornecido. O modelo inicial é usado para construir exemplos de treinamento gerando prompts de instrução para documentos da web (auto-aumento) e, em seguida, selecionando exemplos de alta qualidade entre esses candidatos (auto-curadoria). Esses dados são então usados para ajustar um modelo mais robusto. O ajuste fino do LLaMa em duas iterações da nossa abordagem resulta em um modelo que supera todos os outros modelos baseados em LLaMa no ranking Alpaca que não dependem de dados de destilação, demonstrando um auto-alinhamento altamente eficaz.
English
We present a scalable method to build a high quality instruction following
language model by automatically labelling human-written text with corresponding
instructions. Our approach, named instruction backtranslation, starts with a
language model finetuned on a small amount of seed data, and a given web
corpus. The seed model is used to construct training examples by generating
instruction prompts for web documents (self-augmentation), and then selecting
high quality examples from among these candidates (self-curation). This data is
then used to finetune a stronger model. Finetuning LLaMa on two iterations of
our approach yields a model that outperforms all other LLaMa-based models on
the Alpaca leaderboard not relying on distillation data, demonstrating highly
effective self-alignment.