Migliore Allineamento con l'Istruzione attraverso la Traduzione Avanti e Indietro

Better Alignment with Instruction Back-and-Forth Translation

August 8, 2024

Autori: Thao Nguyen, Jeffrey Li, Sewoong Oh, Ludwig Schmidt, Jason Weston, Luke Zettlemoyer, Xian Li

cs.AI

Abstract

Proponiamo un nuovo metodo, la traduzione avanti e indietro delle istruzioni, per costruire dati sintetici di alta qualità basati sulla conoscenza del mondo, finalizzati all'allineamento dei grandi modelli linguistici (LLM). Partendo da documenti provenienti da un corpus web, generiamo e curiamo istruzioni sintetiche utilizzando l'approccio di retro-traduzione proposto da Li et al. (2023a), e riscriviamo le risposte per migliorarne ulteriormente la qualità basandoci sui documenti iniziali. Il fine-tuning con le coppie risultanti (istruzione retro-tradotta, risposta riscritta) produce tassi di vittoria più elevati su AlpacaEval rispetto all'uso di altri comuni dataset di istruzioni come Humpback, ShareGPT, Open Orca, Alpaca-GPT4 e Self-instruct. Dimostriamo inoltre che riscrivere le risposte con un LLM supera la distillazione diretta, e che le due distribuzioni di testo generate mostrano una distinzione significativa nello spazio di embedding. Un'ulteriore analisi mostra che le nostre istruzioni retro-tradotte sono di qualità superiore rispetto ad altre fonti di istruzioni sintetiche, mentre le nostre risposte sono più diversificate e complesse rispetto a quelle ottenute dalla distillazione. Nel complesso, riteniamo che la traduzione avanti e indietro delle istruzioni combini il meglio di entrambi i mondi, sfruttando la diversità e la quantità di informazioni presenti sul web, garantendo al contempo la qualità delle risposte necessaria per un allineamento efficace.

English

We propose a new method, instruction back-and-forth translation, to construct high-quality synthetic data grounded in world knowledge for aligning large language models (LLMs). Given documents from a web corpus, we generate and curate synthetic instructions using the backtranslation approach proposed by Li et al.(2023a), and rewrite the responses to improve their quality further based on the initial documents. Fine-tuning with the resulting (backtranslated instruction, rewritten response) pairs yields higher win rates on AlpacaEval than using other common instruction datasets such as Humpback, ShareGPT, Open Orca, Alpaca-GPT4 and Self-instruct. We also demonstrate that rewriting the responses with an LLM outperforms direct distillation, and the two generated text distributions exhibit significant distinction in embedding space. Further analysis shows that our backtranslated instructions are of higher quality than other sources of synthetic instructions, while our responses are more diverse and complex than those obtained from distillation. Overall we find that instruction back-and-forth translation combines the best of both worlds -- making use of the information diversity and quantity found on the web, while ensuring the quality of the responses which is necessary for effective alignment.