Melhor Alinhamento com Tradução de Ida e Volta com Instrução

Better Alignment with Instruction Back-and-Forth Translation

August 8, 2024

Autores: Thao Nguyen, Jeffrey Li, Sewoong Oh, Ludwig Schmidt, Jason Weston, Luke Zettlemoyer, Xian Li

cs.AI

Resumo

Propomos um novo método, tradução de instruções de ida e volta, para construir dados sintéticos de alta qualidade fundamentados no conhecimento do mundo para alinhar grandes modelos de linguagem (LLMs). Dados documentos de um corpus da web, geramos e curamos instruções sintéticas usando a abordagem de retrotradução proposta por Li et al. (2023a), e reescrevemos as respostas para melhorar ainda mais sua qualidade com base nos documentos iniciais. O ajuste fino com os pares resultantes (instrução retrotraduzida, resposta reescrita) resulta em taxas de sucesso mais altas no AlpacaEval do que o uso de outros conjuntos de dados de instruções comuns, como Humpback, ShareGPT, Open Orca, Alpaca-GPT4 e Self-instruct. Também demonstramos que reescrever as respostas com um LLM supera a destilação direta, e as duas distribuições de texto geradas exibem uma distinção significativa no espaço de incorporação. Uma análise adicional mostra que nossas instruções retrotraduzidas são de maior qualidade do que outras fontes de instruções sintéticas, enquanto nossas respostas são mais diversas e complexas do que aquelas obtidas da destilação. No geral, descobrimos que a tradução de instruções de ida e volta combina o melhor dos dois mundos - aproveitando a diversidade e quantidade de informações encontradas na web, enquanto garante a qualidade das respostas, o que é necessário para um alinhamento eficaz.

English

We propose a new method, instruction back-and-forth translation, to construct high-quality synthetic data grounded in world knowledge for aligning large language models (LLMs). Given documents from a web corpus, we generate and curate synthetic instructions using the backtranslation approach proposed by Li et al.(2023a), and rewrite the responses to improve their quality further based on the initial documents. Fine-tuning with the resulting (backtranslated instruction, rewritten response) pairs yields higher win rates on AlpacaEval than using other common instruction datasets such as Humpback, ShareGPT, Open Orca, Alpaca-GPT4 and Self-instruct. We also demonstrate that rewriting the responses with an LLM outperforms direct distillation, and the two generated text distributions exhibit significant distinction in embedding space. Further analysis shows that our backtranslated instructions are of higher quality than other sources of synthetic instructions, while our responses are more diverse and complex than those obtained from distillation. Overall we find that instruction back-and-forth translation combines the best of both worlds -- making use of the information diversity and quantity found on the web, while ensuring the quality of the responses which is necessary for effective alignment.